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Information Theory and Coding by Example 


文艺 复兴 以 来 ， 源 远 流 长 的 科学 精神 和 逐步 形成 的 学 术 规 范 ， 使 西方 国家 在 自然 科学 
的 各 个 领域 取得 了 垄断 性 的 优势 ;也 正 是 这 样 的 优势 ， 使 美国 在 信息 技术 发 展 的 六 十 多 年 
间 名 家 辈出 、 独 领 风骚 。 在 商业 化 的 进程 中 ， 美国 的 产业 界 与 教育 界 越 来 越 紧密 地 结合 ， 
计算 机 学 科 中 的 许多 泰山 北斗 同时 身 处 科研 和 教学 的 最 前 线 ， 由 此 而 产生 的 经 典 科学 著 
fe, 不 仅 壁 划 了 研究 的 范畴 ， 还 揭示 了 学 术 的 源 变 ， 既 遵循 学 术 规 范 ， 又 自 有 学 者 个 性 ， 
其 价值 并 不 会 因 年 月 的 流逝 而 减退 。 

近年 ， 在 全 球 信息 化 大 潮 的 推动 下 ， 我 国 的 计算 机 产业 发 展 迅 猛 ， 对 专业 人 才 的 需求 
日 益 迫 切 。 这 对 计算 机 教育 界 和 出 版 界 都 既是 机 遇 ， 也 是 挑战 ; 而 专业 教材 的 建设 在 教育 
战略 上 显得 举足轻重 。 在 我 国信 息 技术 发 展 时 间 较 短 的 现状 下 ， 美国 等 发 达 国 家 在 其 计算 
机 科学 发 展 的 几 十 年 间 积淀 和 发 展 的 经 典 教材 仍 有 许多 值得 借鉴 之 处 。 因 此 ， 引 进 一 批 国 
外 优秀 计算 机 教材 将 对 我 国 计 算 机 教育 事业 的 发 展 起 到 积极 的 推动 作用 ， 也 是 与 世界 接 
轨 、 建 设 真正 的 世界 一 流 大 学 的 必由之路 。 

机 械 工业 出 版 社 华章 公司 较 早 意识 到 “出 版 要 为 教育 服务 ”。 自 1998 年 开始 ， 我 们 就 
将 工作 重点 放 在 了 遵 选 、 移 译 国外 优秀 教材 上 。 经 过 多 年 的 不 懈 努 力 ， 我 们 与 Pearson， 
McGraw- Hill, Elsevier, MIT, John Wiley & Sons, Cengage 等 世界 著名 出 版 公司 建立 了 
良好 的 合作 关系 ， 从 他 们 现 有 的 数 百 种 教材 中 甄选 出 Andrew S. Tanenbaum, Bjarne 
Stroustrup, Brian W. Kernighan, Dennis Ritchie, Jim Gray, Afred V. Aho, John E, 
Hopcroft, Jeffrey D. Ullman, Abraham Silberschatz, William Stallings, Donald E. Knuth, 
John L. Hennessy, Larry L. Peterson 等 大 师 名 家 的 一 批 经 典 作 品 ， 以 “计算 机 科学 从 书 ” 
为 总 称 出 版 ， 供 读者 学 习 、 研 究 及 珍藏 。 大 理 石 纹理 的 封面 ， 也 正体 现 了 这 套 从 书 的 品位 
和 格调 。 

“计算 机 科学 丛书 ”的 出 版 工作 得 到 了 国内 外 学 者 的 易 力 相助 ， 国 内 的 专家 不 仅 提供 了 
中 肯 的 选 题 指 导 ， 还 不 酬劳 苦 地 担任 了 翻译 和 审 校 的 工作 ， 而 原 书 的 作者 也 相当 关注 其 作品 
在 中 国 的 传播 ， 有 的 还 专门 为 其 书 的 中 译本 作 序 。 迄今 ,， “计算 机 科学 丛书 ”已 经 出 版 了 近 
两 百 个 品种 ， 这 些 书籍 在 读者 中 树立 了 良好 的 口碑 ， 并 被 许多 高 校 采用 为 正式 教材 和 参考 书 
籍 。 其 影印 版 “经 典 原版 书库 ”作为 姊妹 篇 也 被 越 来 越 多 实施 双语 教学 的 学 校 所 采用 。 

权威 的 作者 、 经 典 的 教材 、 一 流 的 译 者 、 严 格 的 审 校 、 精 细 的 编辑 ， 这 些 因素 使 我 们 
的 图 书 有 了 质量 的 保证 。 随 着 计算 机 科学 与 技术 专业 学 科 建 设 的 不 断 完善 和 教材 改革 的 逐 
渐 深 化 ， 教 育 界 对 国外 计算 机 教材 的 需求 和 应 用 都 将 步 人 一 个 新 的 阶段 ,我 们 的 目标 是 尽 
善 尽 美 ， 而 反馈 的 意见 正 是 我 们 达到 这 一 终极 目标 的 重要 帮助 。 华 章 公司 欢迎 老师 和 读者 
对 我 们 的 工作 提出 建议 或 给 予 指正 ， 我 们 的 联系 方法 如 下 

华章 网 站 . www. hzbook. com 

电子 邮件 : hzjsj@hzbook. com 

联系 电话 ; (010)88379604 


联系 地 址 : 北京 市 西城 区 百 万 庄 南 街 1 号 华章 教育 
BRA n, 100037 华章 科技 图 书 出 版 中 心 
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Mark Kelbert 与 Yuri Suhov 的 这 本 书 可 谓 信息 论 研究 学 习 中 的 经 典 好 书 。 本 书 涉及 
信息 论 和 编码 理论 相关 的 多 个 领域 ， 当 我 们 接 到 翻译 此 书 的 任务 时 ， 多 少 有 些 必 改 ， 担 心 
不 能 将 书 中 的 精髓 充分 呈现 给 读者 。 之 前 国内 关于 信息 论 与 编码 领域 的 书籍 大 多 集中 在 理 
论 研究 方面 ， 而 本 书 提供 了 丰富 的 例题 ， 可 以 弥补 国内 教材 在 实例 应 用 上 的 欠缺 。 我 们 欣 
然 接 受 了 此 项 翻译 任务 ， 并 且 力 争 不 辱 使 命 。 

本 书 涵盖 信息 论 与 编码 理论 的 方方面面 ， 信 息 量 大 ， 内 容 丰 富 ， 既 详尽 地 讲解 了 基础 
AS, kinm. (PU. HW REGAL, Mihi THR RMR PED, PR 
机 科学 、 密 码 学 、 电 子 工 程 以 及 概率 与 统计 等 学 科 的 教学 内 容 在 本 书 中 都 有 体现 。 

本 书包 含 信 息 论 与 编码 中 的 概率 和 代数 两 个 方向 ， 为 了 保持 其 在 不 同 领域 的 特色 ， 同 
时 使 风格 尽 可 能 一 致 ， 我 们 在 翻译 的 过 程 中 反复 项 酌 ， 力 求 完美 ， 还 虚心 向 相关 领域 的 专 
业 人 员 请 教 ， 在 此 对 他 们 表示 感谢 。 最 后 ， 我 们 还 要 对 机 械 工 业 出 版 社 的 编辑 们 表示 感 
谢 ， 他 们 的 尽职 尽责 以 及 热情 合作 给 予 了 我 们 莫大 的 帮助 。 


译 者 
2016 年 11 月 
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本 书 的 素材 取 自 剑桥 大 学 数学 荣誉 学 位 考试 的 几 门 相关 课程 : 本 科 三 年 级 的 “信息 论 ” 
(该 课程 已 历经 40 余年 的 教学 与 发 展 ， 期 间 仅 仅 在 课程 名 称 上 略 有 调整 ),“ 编 码 与 密码 
学 ”( 一 门 新 开设 的 简明 课程 ， 省 去 了 繁杂 的 技术 细节 )， 以 及 一 些 更 为 前 沿 的 第 三 部 分 课 
程 ( 相 当 于 数学 硕士 研究 生 课 程 ) 。 本 书 的 内 容 安排 围绕 以 下 核心 概念 ， 概率 分 布 的 炉 一 一 
一 种 不 确定 性 的 度量 (也 包括 随机 过 程 的 箭 率 一 一 样本 轨迹 变化 率 的 度量 ) ， 编 码 一 一 一 种 
度量 及 利用 随机 过 程 中 元 余 信息 的 方法 。 

因此 ， 本 书 的 内 容 大 致 涵盖 了 当前 全 球 范围 内 与 信息 论 相 关 的 典型 教学 素材 ， 这 些 教 
学 内 容 通 常安 排 在 计算 机 科学 、 电 子 工程 以 及 概率 与 统计 等 学 科 中 。 然 而 ， 本 书 与 其 他 著 
作 的 首要 不 同 在 于 丰富 的 例题 (其 模式 遵循 了 我 们 在 剑桥 大 学 出 版 社 推出 的 本 系列 图 书 第 
一 本 一 一 《Probability and Statistics by Example》) 。 书 中 绝 大 部 分 例题 来 源 于 剑桥 大 学 数 
学 荣誉 学 位 考试 。 因 此 ， 读 者 可 以 通过 本 书 判断 自己 所 达到 或 者 期 望 达到 的 学 习 程度 。 

本 书 与 其 他 信息 论 和 编码 相关 著作 的 第 二 个 不 同 之 处 在 于 ， 它 包含 了 两 个 可 能 的 方 
向 : 概率 和 代数 。 通 常 而 言 ， 这 两 个 方向 往往 出 现在 不 同 的 专著 、 教 材 或 者 课程 中 ， 所 涉 
及 的 人 员 也 来 自 不 同 的 领域 。 本 书 的 成 形 得 益 于 两 段 经 历 。 我 们 曾经 在 位 于 莫斯科 的 俄 罗 
斯 科学 院 下 属 的 信息 传输 问题 研究 所 工作 。 俄 罗斯 科学 院 一 直 具 有 跨 学 科研 究 科学 问题 的 
优良 传统 ， 特 别 值 得 一 提 的 是 ，Roland Dobrushin, Raphail Khasminsky、Mark Pinsker, 
Vladimir Blinovsky、 Vyacheslav Prelov、 Boris Tsybakov、Kamil Zigangirov( 从 事 概 率 和 
统计 研究 ) 、Valentin Afanasiev, Leonid Bassalygo, Serguei Gelfand, Valery Goppa, In- 
na Grushko, Grigorii Kabatyansky, Grigorii Margulis, Yuri Sagalovich, Alexei 
Skorobogatov, Mikhail Tsfasman, Victor Zinov'yev, Victor Zyablov( 从 事 代 数 、 组 合 数 
学 、 几 何 和 数论 研究 ) 等 学 者 都 曾经 工作 或 依然 工作 于 俄罗斯 科学 院 ( 曾 经 有 一 段 时 期 ， 这 
些 学 者 都 在 莫斯科 中 心 一 蛋 改 建 楼 同一 层 的 五 个 房间 中 工作 ) 。 我 们 也 具有 在 剑桥 大 学 的 
工作 经 历 ， 这 段 经 历 同样 十 分 重要 。 剑 桥 大 学 教授 信息 论 和 编码 理论 相关 课程 时 ， 具 有 与 
俄罗斯 科学 院 相似 的 跨 学 科 精 神 。 这 种 风格 主要 起 始 于 Peter Whittle( 从 事 概 率 和 最 优化 
研究 ) 及 其 后 的 Charles Goldie( 从 事 概 率 研 究 ) Richard Pinch( 从 事 代 数 和 几何 研究 )、 
Tom Korner 和 Keith Carne( 从 事 分 析 研 究 ) ， 还 有 Tom Fisher( 从 事 数 论 研 究 ) 。 

需要 补充 的 是 ， 作 为 训练 有 素 的 数学 家 (并 且 骨 子 里 也 是 数学 基因 )， 尽 管 我 们 也 有 很 
强 的 应 用 背景 ,但 在 完成 本 书 的 过 程 中 依然 经 历 着 这 样 一 些 折磨 ， 表述 模糊 不 清 ， 不 精 
确 ， 真 假 可 疑 (这 包含 了 个 人 因素 )， 当 然 还 有 将 完美 的 数学 思想 付 诸 实践 所 需要 的 代价 。 
然而 ， 我 们 依然 坚定 地 认为 数学 思维 依然 是 在 当今 充满 竞争 的 世界 上 生存 并 自我 完善 的 主 
要 途径 。 因此， 数学 需要 被 认真 地 对 待 并 加 以 学 习 ( 或 许 不 需要 理由 ) 。 

作为 面向 随机 过 程 的 信息 论 方法 基础 ， 上 述 两 个 概念 ( 人 和 编码 ) 已 由 Shannon 在 20 
世纪 40 年 代 发 表 的 代表 性 论文 5 25 中 完整 地 引入 。 当 然 ， 炳 的 概念 早 在 一 个 世纪 前 就 已 
被 Boltzmann 和 Gibbs 在 热力 学 中 使 用 ， 而 编码 已 被 (高 效 地 ) 应 用 在 实际 生活 当中 很 久 
了 。 但 是 ，Shannon 是 第 一 个 充分 意识 到 这 些 概 念 在 信息 领域 的 作用 并 用 现代 数学 框架 加 
以 前 述 的 开创 者 ， 尽 管 Shannon 从 未 经 历 成 为 数学 家 的 训练 ， 也 并 不 总 能 完整 地 给 出 关于 
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自己 的 理论 的 一 些 证 明 ( 或 许 他 并 不 觉得 有 任何 不 妥 )。 在 本 书 的 相关 章节 中 ， 我 们 会 点 评 
一 些 Shannon 与 数学 界 的 关系 发 展 中 非常 引 人 注 目的 场景 。 幸 运 的 是 ， 这 些 纷 杂 并 没有 给 
Shannon 造成 困扰 (Shannon 和 Boltzmann 不 同 ; 后 者 对 外 界 的 评论 十 分 敏感 且 十 分 在 
意 )。Shannon 一 定 知道 他 所 发 现 的 理论 背后 的 巨大 价值 ; 在 我 们 的 眼中 ， 他 的 地 位 与 伟 
大 的 数学 家 Wiener 和 von Neumann 相当 。 

客观 地 说 ，Shannon 的 名 字 依 然 主导 着 当前 信息 与 编码 理论 中 概率 和 代数 的 方向 。 这 
样 强大 的 影响 力 是 非 同 寻常 的 ， 特 别 是 当 我 们 意识 到 Shannon 的 学 术 活 路 期 已 过 去 40 多 
年 时 。 (虽然 在 一 些 先 进 的 话题 方面 ，Shannon 或 许 会 沿用 Einstein 的 话 :“ 数 学 家 们 已 经 
涌 和 通信 理论 ， 现 在 连 我 自己 都 搞 不 清楚 这 理论 了 o”) 

在 Shannon 的 创建 及 发 明之 后 ， 数 学 、 电 子 工程 、 计 算 机 科学 等 学 科 都 经 历 了 巨大 的 
变化 。 谁 又 能 预见 在 20 世纪 40 一 50 年 代 ， 原 本 相互 对 立 的 Shannon 信息 论 与 Wiener 控 
制 论 能 够 融合 ? 事实 上 ， 后 者 包含 造福 全 人 类 的 宏伟 (甚至 是 不 切实 际 的 ) 愿 景 ， 而 前 者 仅 
仅 设 定 了 一 个 谦虚 的 目标 以 将 信息 传输 中 的 误差 控制 在 某 些 极限 当中 。Wiener 的 著作 1 
塑造 了 20 世纪 50 一 60 年 代 思 想 家 们 所 开展 智力 活动 的 几乎 所 有 维度 。 特 别 地 ， 控 制 论 在 
苏联 及 其 卫星 国 成 为 严肃 的 政治 议题 : 最 初 它 被 认为 是 “一 个 资产 阶级 的 反 科学 理论 ”， 然 
后 又 被 过 度 狂 热 地 追捧 。(1953 年 发 表 在 苏联 主要 意识 形态 期 刊 《4 哲学 问题 》 上 的 关于 控制 
论 的 评价 是 ;“ 帝 国 主义 者 没有 办 法 消除 摧毁 资本 主义 社会 的 根本 了 矛盾， 他 们 不 能 阻止 即 
将 发 生 的 经 济 危 机 。 所 以 ,他们 尝试 从 狂热 的 军备 竞赛 和 意识 形态 战争 中 寻找 管 案 。 在 深 
层 的 绝望 中 ， 他 们 寻求 伪 科 学 带 来 的 一 线 硕 望 以 苟 延 残 喘 。 E 1954 年 版 的 苏联 《简明 哲学 
词典 》 中 有 成 百 上 千 条 关于 控制 论 的 定义 :“ 反 动 的 伪 科 学 ， 首 先 出 现在 二 战 后 的 美国 ， 后 
广泛 传播 于 资本 主义 国家 ， 是 一 种 现代 的 机 械 论 。 然而， 受 压 于 参与 苏联 核 试 验 且 掌握 实 
权 的 一 些 顶 尖 物 理学 家 ， 之 前 反对 控制 论 的 4 哲学 问题 》 期 刊 在 1955 年 发 表 了 鼓吹 控制 论 
积极 面 的 文章 。 该 文章 的 作者 包括 Alexei Lyapunov 和 Sergei Sobolev 等 苏联 卓越 的 数 
学 家 ,) 

奇怪 的 是 ， 最 近 关 于 Wiener 的 自传 "中 显示 ， 曾 经 存在 “秘密 的 (美国 ) 文 档 指出 FBI 
和 CIA 如 何在 冷战 期 间 追 踪 Wiener 以 阻挠 他 的 社会 激进 主义 并 压制 控制 论 在 国内 外 的 巨 
大 影响 ”。 文 献 [65] 中 也 提 到 了 这 种 有 趣 的 对 比 。 

然而 ， 历 史 总 是 以 自己 的 脚步 前 进 。 如 Freeman Dyson 在 对 文献 [35] 的 评述 中 指 
HH: “(Shannon 的 理论 ) 在 数学 方面 是 优雅 和 清晰 的 ， 它 能 够 应 对 通信 所 涉及 的 许多 实际 
问题 。 它 比 控 制 论 更 易于 使 用 。 它 奠定 了 一 门 灵 新 的 学 科 一 一 信息 论 …… (在 当代 ) 电 子 工 
程 师 将 学 习 Shannon 创建 的 信息 论 作为 基本 训练 ， 而 控制 论 逐 渐 被 遗忘 。” 

事实 上 控制 论 并 未 被 遗忘 ， 在 苏联 依然 有 至 少 七 个 研究 院 或 机 构 以 控制 论 命名 :; 其 中 
俄罗斯 的 莫斯科 和 白俄罗斯 的 明 斯 克 分 别 有 两 所 ， 爱 沙 尼 亚 的 塔林 、 乌 效 别 克 斯 坦 的 塔 什 
干 和 乌克兰 的 基辅 (苏联 计算 机 科学 的 中 心 ) 也 分 别 坐 落 着 一 所 。 在 英国 ， 至 少 有 四 所 大 学 
设置 了 控制 论 相 关 的 院 系 ， 分别 是 波 尔 顿 大 学 、 布 拉 德 福 德 大 学 、 赫 尔 大 学 和 瑞 丁 大 学 ， 
这 项 统计 事实 上 不 包括 其 他 相关 的 学 术 组 织 和 学 会 。 在 全 球 范 围 内 来 看 ， 控 制 论 相关 的 学 
会 看 起 来 非常 繁荣 ， 具 有 长 短 不 一 、 各 式 各 样 的 名 字 ， 比 如 瑞士 的 方法 研究 所 、 意 大 利 的 
控制 论 学 会 、 阿 根 廷 布 宜 诺 斯 区 利 斯 的 普 适 系统 理论 和 控制 论 学 会 。 我 们 也 十 分 欣喜 地 发 
现 剑桥 控制 论 协 会 坐落 于 美国 加 州 的 贝尔 蒙 。 与 控制 论 情形 不 同 ， 以 信息 论 命名 的 研究 机 
构 届 指 可 数 。 显 然 ， 关 于 Shannon 和 Wiener 的 经 典 争论 还 会 继续 。 

无 论 如 何 ，Wiener 在 数学 领域 的 个 人 声誉 依然 坚实 ， 我 们 能 够 说 出 好 几 个 他 理论 中 


Vl 


的 珍宝 ， 比 如 Paley-Wiener 定理 (在 Wiener 无 数 次 到 访 剑桥 的 过 程 中 创造 ) 和 Wiener- 
Hopf 方法 ， 当 然 还 有 Wiener 过 程 一 一 代表 他 在 科学 研究 及 应 用 方面 的 重要 地 位 。 然 而 ， 
当前 针对 这 位 科学 巨 壁 的 一 些 回 忆 录 展示 出 他 复杂 而 困惑 的 人 格 。( 从 关于 Wiener 的 传 
ie?” 题名 不 难 发 现 这 种 特点 ,但 是 这 些 观点 仍然 有 争议 ， 比 如 文献 [107] 的 评论 。 而 在 本 
书 中 ， 我 们 尝试 采用 文献 [75] 中 第 386 一 391 页 关于 Wiener 的 温和 口吻 加 以 阐述 ,) 另 一 方 
面 ， 关 于 Shannon 的 生平 记录 (这 些 论述 来 自 其 他 信息 和 编码 理论 创始 人 ， 如 Richard 
Hamming) 则 给 出 了 一 致 的 描绘 一 一 他 是 一 位 安静 、 寡 智和 了 幽默 的 人 。 我 们 希望 现 有 这 些 
说 法 不 要 成 为 人 们 描写 Shannon 传记 的 障碍 ， 也 希望 未 来 能 有 更 多 关于 Shannon 的 书 ， 
正如 现在 关于 Wiener 的 书 那样 。 

如 前 所 述 ， 本 书 的 目的 是 双重 的 ; 一 方面 通过 丰富 的 例题 和 例子 对 信息 论 中 概率 与 几 
何方 面 的 知识 做 系统 的 介绍 ， 另 一 方面 讨论 一 些 很 少 在 其 他 主流 教材 中 涉及 的 有 益 话题 。 
本 书 第 1 一 3 章 介 绍 信 息 论 和 编码 理论 的 基础 知识 并 对 一 些 相关 前 沿 话题 展开 讨论 。 内 容 
组 织 安排 方面 ， 我 们 主要 关注 具有 代表 性 的 问题 和 例题 (其 中 很 多 源 自 剑桥 大 学 的 课程 )， 
而 不 对 背后 的 理论 做 过 于 细致 的 阐述 。 第 4 章 对 信息 论 相 关 的 一 系列 深层 主题 进行 介绍 ， 
其 表述 风格 十 分 简洁 ， 因 此 一 些 重 要 的 结论 并 未 给 出 证 明 。 

本 书 的 很 大 一 部 分 内 容 源 自 课 堂 讲义 和 对 课堂 习题 或 考试 题 的 解答 ， 所 以 某 种 程度 上 
的 内 容重 复 难 以 避免 ， 并 且 有 可 能 出 现 符号 的 多 重 定义 或 者 非 规范 的 语言 表述 。 对 此 ， 我 
们 顺 其 自然 ， 我 们 觉得 这 些 不 完美 恰好 营造 了 教学 和 考试 过 程 中 的 真实 氛围 。 

本 书 行文 安排 深 受 两 部 优秀 著作 [” 吕 的 影响 。 我 们 与 Charles Goldie 长 久 的 友谊 以 及 
E] Tom Cover 和 有 睦 的 交往 均 对 本 书 产生 了 有 益 的 帮助 。 我 们 同样 受益 于 对 文献 [18]、 
[110]、[130] 和 [98j 的 阅读 及 借鉴 。 此 外 ， 感谢 剑桥 大 学 牛顿 研究 院 2002 一 2010 年 的 二 
系列 课程 ， 特 别 是 通信 科学 中 的 随机 过 程 (2010 年 1~7 月 )。 本 书 中 的 诸多 内 容 都 经 过 与 
来 自 不 同 研究 机 构 的 同行 的 交流 和 讨论 ， 其 中 最 为 重要 的 就 是 位 于 莫斯科 的 信息 传输 问题 
研究 所 和 数学 地 理 及 地 震 预测 研究 所 (我 们 曾经 是 其 中 忠诚 的 一 员 ) 。 我 们 还 要 感谢 来 自 剑 
桥 大 学 Statslab 的 James Lawrence WA HET AK, 

本 书 中 PSEI 和 PSE II 分 别 代 表 本 书 作 者 所 著 由 剑桥 大 学 出 版 社 出 版 的 《Probability 
and Statistics by Example》 第 1 卷 和 第 2 卷 。 我 们 采用 PSE II 的 风格 ， BMT 
案 的 例题 。 这 些 例题 都 以 问题 的 形式 出 现 ( 其 中 很 多 源 自 于 剑桥 数学 荣誉 学 位 的 考试 试卷 ， 
其 形式 和 风格 均 得 以 保留 ) 。 
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| 第 1 章 


Information Theory and Coding by Example 


信息 论 基础 





全 书 当 中 ，P 了 表示 各 类 概率 分 布 。 特 别 地 ， 在 第 1 章 当 中 ，P 表 示 信 源 输 出 随机 变 
量 序列 的 概率 。 作 为 约定 ,我 们 假设 这 些 序列 是 由 独立 同 分 布 的 随机 变量 构成 的 ， 或 者 
来 源 于 离散 时 间 Markov f ， 即 PCO; Sus, -us U,, =u,,) Fe ba OLE Urs "e Un 分 别 取 
W us cs, u HRA, PV=v|U=u, W=w REA EMER U 取 值 w、 随 机 
变量 W 取 值 w 条 件 下 ， 随 机 变量 V 取 值 w WR. EE, E Ra PR. 

符号 p 和 符号 PP 用 来 表示 各 种 概率 (或 者 与 概率 相关 的 对 象 ) 。 符 号 #A 表示 有 限 集合 
A 的 势 。 符 号 1 表示 指示 函数 。 本 书 也 采用 以 下 对 数 符号 和 准则 : ln 一 log.，log 一 log:， 
对 任意 5 二 1，0， logs0 二 0， logsce。 对 于 给 定 的 z>0，Lzj 和 [「z 1 分 别 表 示 对 xz 的 下 取 整 
和 上 取 整 ， 因 此 有 |L xj 二 x 二 [x1， 当 zz 取 正 整数 时 等 式 成 立 (Lx」 也 可 被 认为 是 xz 的 整数 
部 分 )。 

LHS 和 RHS 分 别 表示 一 个 等 式 的 左 侧 和 右 侧 。 


1.1 AREA, Kraft RÆ, Huffman 编码 

信息 传输 过 程 中 一 个 典型 的 方案 如 下 图 所 示 : 

[Anj 编码 器 |-~[ 信 道 |-~| 译 码 器 |-~[ 信 宿 ] 
例子 1. 1.1 (a) 信 源 : 剑桥 大 学 学 院 唱 诗 班 。 

(b) 编码 器 : 一 个 BBC 的 录音 单元 ， 它 将 声音 转换 为 二 进 制 序列 然后 写 入 CD FA. 
随后 CD 发 行 上 市 。 

(c) 信道: 一 位 消费 者 购买 了 一 张 CD 并 从 英国 邮递 到 澳大利亚 。 这 个 信道 受到 “ 噪 
声 ” 的 影响 ，CD 在 传输 (或 者 运输 ) 过 程 中 可 能 会 受到 损坏 (器 械 的 、 电 子 的 、 化 学 的 等 ) 。 

(d) 译 码 器 : 在 澳大利亚 的 CD 播放 机 。 

(Ce) 信 宿 : 在 澳大利亚 的 一 位 听众 。 

HO AM: 确保 有 损 情况 下 的 高 质量 音频 。 

事实 上 ， 即 便 用 针头 在 CD 上 惟一 个 小 洞 或 者 滴 一 滴 酸 (当然 ,这样 的 实验 并 不 值得 
提倡 )， 它 依然 能 够 经 受 考验 而 保持 音频 质量 。 用 术语 来 说 ， 信 息 传输 的 目标 主要 包括 : 

Ci) 对 信息 的 快速 编码 。 

Gi) 经 过 编码 后 的 消息 需 易于 传输 。 

Citi) 有 效 利 用 信道 ( 即 最 大 化 单位 时 间 内 信息 的 传输 量 ) 。 

Gv) 快速 译 码 。 

(v) 〈 尽 可 能 多 地 ) 纠 正 由 噪声 引起 的 错误 。 

这 些 目 标 往往 是 相互 冲突 的 ， 因 此 人 们 必须 寻找 优化 方案 。 这 就 是 本 章 即 将 讨论 的 。 
然而 ， 人 们 不 能 奢求 完美 的 解决 方案 ， 接 下 来 要 介绍 的 理论 旨 在 提供 与 基本 原理 相关 的 知 
识 。 关 于 方案 的 最 终 决 定 取决 于 负责 人 (或 团体 ) 。 

本 节 的 很 大 部 分 (也 包括 整个 第 1 章 ) 都 将 讨论 编码 问题 。 而 编码 的 意义 在 于 : 

(GD 压缩 数据 以 减少 消息 中 的 元 余 信息 。 








Gi) 防止 非法 用 户 获取 消息 。 
GID 使 纠 错 成 为 可 能 。 
接 下 来 我 们 从 信 源 和 编码 器 开始 展开 研究 。 信 源 发 出 一 串 字母 (或 者 符号 )， 
Ul Uz Us ey 
HP EI, KSI EARE m 个 元 素 的 集合 ， 通 常 表示 为 {1，…，m}( 一 个 信 源 字母 
表 )。 以 文学 英语 为 例 ，m 二 26 十 7， 这 包含 了 26 个 字母 和 ?7 个 标点 符号 . ,:; 一 ()( 有 了 时候 
人 们 也 会 增加 如 ?! 和“?”) 。 电 报 英语 则 对 应 x 二 27。 
一 种 常用 的 方法 是 将 式 (1. 1. 1) 视 为 一 个 随机 源 的 采样 点 ， 即 一 个 随机 变量 序列 
DN Uy 9" (1. 1. 2) 
然后 尝试 建立 一 种 方法 以 将 这 样 的 序列 做 合理 的 分 类 。 
cpg ga i acne pg ina 


PU, = ty» Ua = User *U, = uy). = [ou (1. 1. 3a) 


其 中 p(w) 二 PC(U;j 二 w)，wuET 是 一 个 随机 变量 的 边缘 分 布 。 一 个 具有 ID 符号 的 随机 信 源 
通常 被 称 作 Bernoulli 信 源 。 

关于 p(w) 的 一 个 特殊 例子 是 等 概率 的 Bernoulli 信 源 ， 其 中 概率 分 布 p(wu) 与 具体 事件 
uEU 没有 关系 (实际 上 pl(u)=1/m), 

(b) 一 个 更 为 普遍 的 例子 是 Markov 信 源 ， 其 中 信 源 输出 符号 构成 了 一 个 离散 时 间 
Markov 链 (DTMC) 


EU, = == ti sU? = U2 5* oU, = = H) = z AC) [| Peu ou, i) CTs Į. 3b) 


其 中 Alu) =P(U, =u), uwET 是 初始 概率 ， plu, a Bh den! |U; Su") Us u'€ I 
转移 概率 。 当 PU; =u)=à lu), j>1 if, Markov 信 源 被 认为 是 平稳 的 ， 也 就 是 说 ， 


A= {à lu), uu 二 1,…，m} 相 对 和 矩阵 P={Plu, v) 是 旋转 不 变 的 行 向 量 ， 满 足 等 式 约 柬 


DAW Pu, v)=A(v), vel, 或 简 记 为 XP 二 4。 


wel 
(c) 一 个 退化 的 Markov 信 源 的 例子 是 信 源 发 出 多 个 重复 的 符号 。 这 里 ， 
PU, ze 06 ss ah = U; — u) — plu) ,u E I 
PUAU =0,1 =k <— 
其 中 0<p(w<1 A SJ pW 一 1。 
u€l 


序列 (1.1.1) 中 的 起 始 块 
ua” = (tists su) RSA vu? = uunin 
被 称 作 ( 源 ) 样 本 FFP, Mon, PRET. uw 通常 被 视 为 消息 。 相 应 地 ， 可 以 
引入 随机 的 nw- 字符 串 ( 随 机 消息 ) 
U” = (U; Uz» U,) 或 简写 为 U = UUU, 

AAEE JCJ), 通常 写 为 {0，1，…，g 一 1)， 而 编码 符号 的 数目 通常 满 
Egam ANERE gm), ERER AF, 通常 采用 二 元 编码 ， 即 g=2, J={0, 1}. 
一 个 码 ( 有 时 也 称 为 编码 ) 是 一 个 映射 f， 它 将 一 个 符号 wel 转换 为 一 个 有 限 字符 囊 ， 
f(w) 二 x1"…zx;， 其 字母 来 自 于 J。 换 句 话说 ，f 将 I 映射 到 所 有 可 能 的 集合 J“ 上 ， 即 

f:I=>]J' FU AAs ARAR 


字符 串 f(w) 被 称 为 码 字 (在 编码 f 中 )， 它 是 在 f 映射 下 的 符号 wET 的 像 。 如 果 上 式 


C1. LSE) 
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P s 的 取 值 对 所 有 码 字 都 一 致 等 于 N， 那 么 这 个 编码 具有 (和 定 ) 长 N。 消 息 u” Suu u, 
可 以 表示 为 码 字 的 级 联 
fU) = flu) fw) f Cu, ) 
它 实 际 上 也 是 三 中 的 字符 串 。 
定义 1.1.3 WẸ uAu E ODAS BRI f: I>J* 是 一 对 一 的 )， 那 么 编码 是 无 
损 的 。 如 果 任 何 集合 J“ 中 的 任何 字符 串 是 至 多 一 个 信息 的 象 ， 那 么 这 种 编码 就 是 可 译 的 。 
如 果 y= 二 zz， 那 么 字符 串 z 是 另 一 个 字符 串 的 前 置 ， 例 如 ，y 可 以 用 相互 联系 的 x，z 来 
表示 。 如 果 没 有 一 个 码 字 是 其 他 码 字 的 前 级 ， 那 么 这 个 码 字 就 是 无 前 级 的 (例如 定 长 码 就 
是 无 前 级 的 )。 
无 前 级 编码 是 可 译 码 ， 但 是 可 译 码 不 一 定 是 无 前 级 编码 。 
例子 1.1.4 具有 三 个 源 字 母 1，2，3 和 二 元 编码 字母 表 二 {10，1}) 的 编码 被 表示 为 
FY) = 0, ft2) =f = 011 
此 码 是 可 译 的 ， 但 不 是 无 前 级 的 。 
定理 1. 1.5 (Kraft 不 等 式 ) 给 定 正 整数 %，…，sn， 存 在 一 个 可 译 码 f: J, BFK 
EAs e, Sms SBMS 


Dial ees (1.1.4) 


i=l 


而 且 ， 在 式 (1.1.4) 下 ， 存 在 一 个 码 字 长 度 为 站 ，…，sn 的 无 前 缓 编码。 
证 明 (i) 充分 性 。 令 式 (1. 1.4) 成 立 。 我 们 的 目的 是 用 码 长 5 o Sn 的 码 字 建立 无 前 缀 
编码 。 改 写 式 (1. 1. 4) 


š 


2 ma S] (1.1.5) 
i=] 
或 者 
Shes Sra” 
Hp n BREW] 的 码 字 的 数量 ， 并 且 s5max si 。 上 式 可 等 效 地 表述 为 
n, <q = Wr eg (1. 1. 6a) 
因为 n, 宇 909， 可 推 得 
nag = Gq — AG — ng 
或 者 
nr Sg Smg = mg (1.1. 6b) 
重复 这 个 过 程 可 得 
12 一 2 = ge E. mg T ps Rd 
: : : Ch I 6s 


m <S q —mq 

n <q (1; ls 6.3) 

可 以 看 到 实际 上 对 于 所 有 i 二 1，…，;s 一 1， 如 果 满 足 ni1 =0 R n: 小 于 不 等 式 的 RHS 
(根据 定义 ,nn, 宇 1， 所 以 对 于 i 二 ;一 1， 第 三 种 可 能 性 发 生 )， 那 么 我 们 能 完成 下 面 的 构 
造 。 首 先 选择 码 长 为 1 的 ni 个 码 字 ， 抽 取 J 中 不 同 的 符号 ， 对 于 式 (1. 1. 6. s) 来 说 这 是 可 
能 的 ， 剩 下 了 (gq 一 mn) 个 未 用 的 符号 ; 通过 附加 一 个 符号 ， 我 们 可 以 组 成 (gq 一 nm)g 个 长 度 
为 2 的 码 字 ; 利用 式 (1.1. 6.s-1)， 我 们 可 以 选择 n; 个 码 字 ， 这 样 仍然 还 有 g —mq—m 个 


4 #1¢ 


未 用 的 码 字 来 组 成 n 个 码 字 …… 从 这 个 构造 的 过 程 来 看 ， 没 有 任何 新 的 码 字 把 前 面 的 码 
字 作 为 前 级 。 所 以 ,构造 出 来 的 码 是 无 前 缀 码 。 

Gi) 必要 性 。 假 设 存在 一 个 码 字 长 度 为 ss s Ssa 关于 三 的 可 译 码 。 令 s=maxs,, 
对 任意 正 整 数 r-， 可 以 得 到 


(a bg 
{=1 


Hp b Er 码 字 放 在 一 起 组 成 一 个 长 度 为 ! 的 字符 串 的 组 合 数目 。 
由 于 可 译 性 ， 这 些 字符 串 必 须 是 不 同 的 。 因 此 ， 饭 委 %: ， 又 因为 q' 是 4- 字 符 串 的 总 数 ， 
那么 
grt Sp eet ge) = rs 
All 


gt seb a Split = exp(+(logr + logs) ) 


WHER r ERR reo RHS Hit F 1. T 
备注 1.1.6 一 个 满足 式 (1. 1. 4) 的 编码 不 一 定 是 可 译 的 。 

Leon G. Kraft 于 1949 年 在 他 的 麻 省 理工 博士 论文 中 介绍 了 不 等 式 (1. 1. 4)。 

信息 论 的 一 个 重要 的 目标 是 找到 “最 好 ”( 即 最 短 的 ) 可 译 ( 无 前 级 ) 码 。 我 们 现在 采用 
概率 论 的 观点 ,假设 wET 中 的 符号 是 由 一 个 概率 为 p(w) 的 信 源 发 送 的 : 

PU, = u) = plu) 

(在 这 里 ， 没 有 必要 说 明 多 个 发 送 符号 的 联合 概率 。) 

回顾 一 下 ， 给 定 一 个 编码 f: I 一 J" ， 通 过 一 个 指定 码 字 长 度 为 sO HBF fS 
Terea, RM EE EI 进行 编码 。 对 于 一 个 随机 符号 ， 所 产生 的 码 字 变 为 一 个 来 自 
J “的 随机 字符 串 。 当 f 是 无 损 的 ， 对 于 一 个 符号 ， 所 产生 的 字符 串 作 为 一 个 码 字 的 概率 
刚好 等 于 p(i)， 前 提 是 这 个 字符 串 刚好 和 S OWE: 如 果 不 存 在 具有 这 样 性 质 的 字母 i€ 
I， 这 个 概率 就 是 0。 如 果 f 不 是 一 一 映射 ， 字符 串 的 概率 等 于 对 应 码 字 f(i)， 即 这 个 字 
符 串 的 所 有 pC 让 的 和 。 那 么 码 字 的 长 度 变 为 一 个 随机 变量 $5， 概率 分 布 是 

P(S = s) = >) 1 = s)pG) (1.1.7) 
我 们 寻找 一 个 可 译 码 来 最 小 化 码 字 长 度 的 期 望 : 


m 


ES = )sP(S = s) = 5)s(i) pG@) 


Si 气 
接 下 来 问题 归结 为 : 

最 小 化 g(s(1),°**,5(m)) = ES 

满足 >19 °° <1(Kraft) (1.1.8) 

其 中 si) 是 正 整数 
定理 1.1.7 问题 (1.1.8) 的 最 优 值 的 下 界 如 下 : 

minES > h,(p(1) ,**+.p(m)) (1.1.9) 
其 中 

hy (pC) ,ees plm)) 一 一 >) pCi) log,p Gi) (1. 1.10) 


证 明 WORE. 1. 8) — REALL. ARR ATT Ze HARE SC), = sm EL, 
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2，…}， 而 是 用 一 个 松弛 条 件 SG) >0, 1<i<m (PARE, WBA Lagrange 充分 性 定理 就 
可 以 使 用 。 Lagrange 算 子 为 


Ls(1) ,sm) zA) = 2 p02) 十 AM(1 一 ie —z) 
(这 里 ，z 宇 0 是 一 个 松弛 变量 )。 关 于 5，…:，s Mz 最 小 化 .22， 可 得 





EO oe =O ae = pli) +q Mngs 0 
Əsli) 
由 此 
= we Sigh Cpa Mis belong pti clog, Gang) fk <a m 


调整 约束 条 件 Dig = 1 (松弛 变量 > 一 0) 得 到 
jp @/(aAlng) = 1, BY —Alng = 1 


所 以 ， 根据 式 (1. 1.10) 47 h, 的 值 ， 

SD =— log, < Fem 
是 这 个 松弛 问题 的 (唯一 ) 最 优 解 。 松 弛 问题 求解 是 基于 变量 *(z) 的 一 个 更 大 集 ， 所 以 ， 它 
的 最 小 值 不 会 大 于 原始 问题 的 最 小 值 。 Oo 
备注 1.1.8 式 (1.1.10) 定 义 的 及 在 整个 信息 论 中 起 到 极其 重要 的 作用 ， 它 被 称 作 概率 分 
Ml), EDK qg WR, HEMELE. q 的 相关 性 由 下 式 充分 体现 


一 1 eee 
h, (pO) »**splm)) = bg PD, »p(m)) 
此 处 h: RR HE hl HA : 





ha (pA), plm)) =— Dp D logp G) hidi 


举例 1.1.9 (a) 请 给 出 一 个 符号 集 为 J, 的 无 损 但 不 满足 Kraft 不 等 式 的 编码 例子 。 再 给 
出 一 个 无 损 编 码 的 例子 ， 令 其 码 长 严格 小 于 hX). 


(b) 证 明基 于 无 损 码 的 “Kraft Fo” Sy ay 可 以 是 任意 大 的 (对 于 足够 大 的 源 符 号 集 ) 。 


解答 (a) 考虑 符号 集 T 二 {0，1，2} 和 一 个 无 损 编码 f, =, fAI=1, f(2)=00, 
码 长 s(O)=s(1I)=1, s(2)=2, BAM, D)2° = 5/4 不 满足 Kraft 不 等 式 。 对 于 一 个 随 


xe] 
机 变量 X, 其 pC0)=pC)=p(2)=1/3, 平均 码 长 Es(X)=4/3<A(X) =log3=1. 585, 
Cb) 假设 对 于 某 一 个 正 整 数 工 ， 字 母 表 的 大 小 为 m= #1=2(2'—-1). SRA cel A 
成 一 个 具有 最 大 码 长 工 的 码 字 0，1，00，01，11，000，…。Kraft 和 是 


ear c= IN Da 2-:z) 一 S32! > 
YET ISL rs(x)=1 ISL 
它 可 以 任意 大 。 口 
定理 1.1.7 的 结论 进一步 详细 阐述 如 下 。 
定理 1.1.10 (Shannon 无 损 编 码 定理 (NLCT)) 对 于 一 个 随机 信 源 ， 它 发 送 符 号 的 概率 为 
pli 让 二 0， 对 于 符号 集 为 I, 的 可 译 码 ， 它 的 最 小 平均 码 长 服从 : 
h,<minES < h, +1 (1. E 2) 


其 中 心 =— Dd) p@) log,p@ BMH q AM, BXC.1.10), 
证 明 式 (1.1.9) 给 出 了 LHS 不 等 式 。 对 于 RHS 不 等 式 ， 令 sG) 为 一 个 整数 ， 使 得 








es x pi) a Ge 
这 里 的 非 严格 界 表明 2Jq“” < Di p@ =1, M Kraft 不 等 式 。 
所 以 ， 这 里 存在 一 个 码 长 为 ;5(1)，…，s(m) 的 可 译 码 。 严 格 界 为 
sG) <— EPO +1 
ogq 
所 以 
Xp @logp) 


ES <—— + Se@ =~ +41 o 


logg logq 

例子 1.1.11 以 下 给 出 一 个 有 关 Shannon NLCT 的 一 个 有 指导 意义 的 应 用 例子 。 令 信 源 
符号 集 的 大 小 m 等 于 2， 假设 字母 i 二 1，…，m 等 概率 发 送 : p(i) = 二 2*。 假 如 我 们 使 用 
编码 符号 集 J. ={0, 1}(= 76S). HERI h = 一 log2* >) 2* =k, MEME HF 


Igis 


HRERL AZAA. HARA ie, WEEER ie BD ki 
比特 。 

此 外 ，NLCT 引出 了 一 个 Shannon-Fano 编码 过 程 我 们 固定 正 整 数码 字 长 度 *(1) oes, 
sCm) (848 QO <pM@<q 2 ， 或 者 等 效 为 

—log,p (i) < si) <—log,p(i) +1, W sG) = [—log,p(i) ] (11218) 

然后 构造 一 个 无 前 缀 编码 ， 从 最 短 的 s( 让 向 上 ， 确 保 前 面 的 码 字 都 是 无 前 缀 的 。Kraft 不 
等 式 保证 了 足够 的 空间 。 得 到 的 码 字 虽然 可 能 不 是 最 优 ， 但 是 它 与 最 优 码 一 样 具有 满足 不 
等 式 (1. 1. 13) 的 平均 码 长 。 

Huffman 编码 fH: In J; 能 够 获得 最 优 性 。 我 们 首先 讨论 二 进 制 Huffman 编码 ， 
当 g 二 2( 即 J 二 {0，1}) 时 ， 下 列 算法 构造 了 一 个 二 进 制 树 : 

(iD 首先 ， 对 iET 排 序 ， 得 到 p(1) 宇 p(2) 宇 … 宇 plm)。 

Gi) 指定 符号 0 给 字母 m-l, 1 给 字母 到。 

GD 构造 一 个 减 小 的 符号 集 1 1 二 人 和，…，m 一 2，(m 一 1]，m)}， 概 率 为 

p), pim — 2), pm— 1) + plm) 

使 用 减 小 的 符号 集 ， 重 复 步 骤 (D 和 (ii ， 我 们 获得 一 个 二 进 制 树 。 一 个 双 =7 的 Huffman 
编码 如 图 1-1 所 示 。 


m=7 





i 
1 
2 
3 
4 
5 
6 
7 


0.5 0.15 0.15 0.1 0.05 0.25 0.25 
图 一 1 


为 了 到 达 树 的 根 节点 i， 我 们 必须 穿越 的 分 支 数 量 为 *Gi)。 树 的 结构 和 作为 信 源 字母 
对 根 的 识别 一 起 ， 保 证 了 编码 是 无 前 缀 的 。Huffman 二 元 码 的 最 优 性 由 下 面 两 个 简单 的 引 





理 来 推出 。 
引 理 1.1.12 ”任何 最 优 的 无 前 级 二 元 码 ， 码 长 与 其 概率 是 倒序 的 

pPG@>pG') BRA sli) <s(i’) (1. 1. 14) 
证 明 MR ERA ML, RIIAI i Mi eR EAM — TS. RR SE TOR 
长 ,保持 了 无 前 缀 的 性 质 。 Oo 


引 理 1.1.13 对 于 任何 最 优 的 无 前 缓 二 进 制 码 ， 在 所 有 最 大 长 度 的 码 字 中 ， 存 在 两 个 除 最 
后 一 位 数字 以 外 其 他 部 分 完全 相同 的 码 。 

证 明 使 之 不 成 立 的 条 件 有 两 个 : (iD 存在 单个 最 大 长 度 的 码 字 ; (ii) 存 在 两 个 或 者 多 个 最 
大 长 度 的 码 字 ， 它 们 在 最 后 一 个 数字 之 前 都 不 相同 。 在 这 两 种 情况 下 ， 我 们 可 以 从 一 些 最 
大 码 长 的 码 字 中 删除 最 后 一 个 数字 ， 而 不 影响 无 前 缀 性 质 。 口 
引 理 1.1.14 Huffman 编码 在 所 有 的 无 前 组 二 进 制 码 中 是 最 优 的 。 

证 明 用 数学 归纳 法 。 对 于 m=2, Huffman 编码 fF A fF )=0, fP(2=1, MH fF 
(D=1, f#¥(2)=0, 并 且 是 最 优 的 。 假 设 无 论 何 种 概率 分 布 ，Huffman 编码 fi X F 
In HB Fe BE AY 

进一步 假设 关于 某 些 概率 分 布 ，Huffman 编码 Sa 对 于 In 不 是 最 优 的 。 即 对 于 I FF 
在 另 一 个 具有 更 短 平 均码 长 的 无 前 级 编码 fa: 

ES, < ES} C118:15) 

在 此 情况 下 概率 分 布 可 以 假设 为 

pa) >- > plm) 

根据 引 理 1. 1. 12 和 引 理 1. 1. 13， 在 这 两 种 码 字 中 ， 我 们 可 以 重 置 码 字 ， 使 得 对 应 m—1 
与 m 的 码 字 有 最 大 的 长 度 ， 这 两 个 码 字 唯 一 不 同 的 只 是 最 后 一 位 数字 。 这 容许 我 们 把 两 个 
编码 减少 到 I,_! 。 也 就 是 说 ， 在 Huffman 编码 (2 中 ， 我 们 能 够 从 FE Om) A £2 On—1) 
删除 最 后 一 位 数字 从 而 “ 粘 合 ”这 些 码 字 。 这 样 就 构造 了 Huffman 编码 fe. Æ fa 中 ， 
执行 相同 的 步骤 就 得 到 新 的 无 前 缀 编码 f»_; 。 

观察 到 在 Huffman 编码 fa P, M fa On) A A Gn— 1D) Pt ESE 的 贡献 为 ?Cm)(p(m 一 
1]) 十 p(m)); 经 过 缩减 以 后 ， 变 为 (sm) 一 1)(p(m 一 1) 十 plm))。 即 ES 减少 了 plm 一 1) 十 
pn), ERD 成 P, Ms Cm) (pnl) + p(n) ) PB Cs" 《4m) 一 1)(plm 一 1) 十 plm)) 有 
相似 的 贡献 ; 差别 也 为 plm 一 1) 十 plm)。 所 有 其 他 对 ES%_1 和 ES;*-i 的 贡献 与 对 ES， 和 
ES, 的 贡献 都 一 样 。 所 以 ， 访 -要 优 于 fai: ES 1 二 ESm_!， 这 和 假设 矛盾 。 oO 

根据 定理 1. 1. 14， 我 们 可 获得 以 下 推论 。 
推论 1.1.15 Huffman 编码 在 所 有 可 译 的 二 元 码 中 是 最 优 的 。 

易 得 上 述 过 程 能 够 推广 到 g 进 制 的 Huffman 编码 (具有 编码 字母 表 J, ={0, 1, 0, go 
1D: 不 是 合并 两 个 具有 最 小 概率 的 符号 m—1, mEl,, MESH 个 具有 最 小 概率 的 符 
号 ， 重 复 以 上 过 程 。 事 实 上 ，Hnuffman 1952 年 的 原始 论文 已 经 描述 了 一 般 化 的 编码 符号 
集 ， 其 中 存在 许多 对 Huffman 编码 的 改进 ， 包 括 不 等 编码 代价 (其 中 一 些 编码 数字 JEJ。 
的 代价 比 其 他 的 高 )， 这 些 不 在 本 书 中 进行 讨论 。 
举例 1. 1. 16 Huffman 编码 的 缺点 是 : 码 字 长 度 是 符号 概率 pA), =, pmi Ah 
数 。 然 而 ， 一 些 边界 是 可 达 的 。 假 设 pp plm), PARDA: 

(a) WR p(1) 二 1/3， 那 么 字母 1 必须 用 长 度 大 于 2 的 码 字 编 码 。 

(b) 如 果 p(l1)>2/5, RAFAL 必须 用 长 度 为 1 的 码 字 编码 。 
解答 (a) 有 两 种 可 能 的 情况 : 在 构造 一 个 Huffman 编码 的 最 后 两 步 之 前 ， 字 母 1 要 么 与 
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其 他 字母 合并 ， 要么 不 合并 。 在 第 一 种 情形 下 ，s(1) 宇 2。 否 则 ， 符 号 1, 5 和 4' 有 

pQ) <1/3,pQ1) + p(6)+ po’) =1, 所 以 max[p(6) ,p06')] > 1/3 
那么 在 倒数 第 二 步 ， 字 母 1 与 5 和 "中 的 一 个 合并 ， 所 以 s(1) 宇 2。 假 设 至 少 一 个 码 字 长 
度 为 1， 这 个 码 字 分 配给 具有 p(1) 二 1/3 的 字母 1。 所 以 ，Huffman 树 的 顶部 如 图 1-2a 所 
A, WEO<p(b), pN pA), p(b)+p(s')=1—pQ)., 





1 p(l)+p(b)+p(6) <1 
praia ean p(1)+p(b) 
píb) píb) po’) 
0<p (b) <p (1) 
2/5<p(1) 
p(3) p(4) 
a) b) 


但 是 如 果 max p), p(b')]>1/3, pC) MRAM min[ p(s), pb) JAI. ALA, 
图 1-2 是 不 可 能 的 ， 字 母 1 的 码 长 大 于 等 于 2。 

当 两 种 码 字 

{0,01,110,111} #{00,01,10,11} 

都 是 二 进 制 Huffman 编码 ， 且 概率 分 布 为 1/3，1/3，1/4，1/12,， 那么 此 时 边界 是 清晰 可 
辨 的 。 

(b) 令 pC) >2/5, 假设 字 母 1 在 一 个 Huffman 编码 中 的 编码 长 度 s(1) 宇 2。 所 以 字 
母 1 在 最 后 一 步 前 和 其 他 符号 合并 。 换 言 之 ， 在 某 一 个 阶段 ,我 们 让 符号 1, b 和 刀具 有 
如 下 性 质 : 

Gi) po’ )>pQ)>2/5 

Gi) plo) >pb) 

Ciii) p(1)+p(o)+ p)<1 

(iv) pA), p(b)>1/2p0') 

事实 上 ， 如 果 p)<1/2p'), 那么 当 p(b') 产 生 时 ， 在 前 一 步 5 应 该 被 选择 而 不 是 
BORE p(4)。 根 据 (iv)，p(5) 宇 1/5， 那么 中 十 (i 让 是 不 可 能 的 。 

关于 pC) Huffman 树 的 一 部 分 如 图 1-2b 所 示 ， 其 中 p= pH p(1) 十 
p(5') 十 p(65) 三 1。 我 们 有 

DC) = 2/5 +e, p(b') = 2/5 +e +8, p(s) = 2/5+e+d—y 
Hp e>0, d, 720. MA 
pC) + p@') + p@) = 6/5 + 364+ 28—-y<1, yS1/5+3e+268 
这 使 得 
p(b) <1/5— 2-8 < 1/5 
然而 ， 因 为 
max[ (3), p(4) ] > p(b')/2 > pQ)/2 > 1/5 

概率 p(b) MAR minl p(3), POJEJ., BME 1-2b 是 不 可 能 的 。 因此， 字符 1 的 码 字 长 
Æs()=1. O 
举例 1.1.17 BEF i, e, i MRP BMA 0.45, 0.25, 0.2, 0.05, 0.05, H # 
Shannon-Fano 编码 和 Huffman 编码 的 平均 码 长 。 通 过 发 现 每 种 情况 下 的 可 译 二 进 制 码 来 
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解答 aL g=2 时 ， 
pG) [一 logzp(i) | Be 
0.45 2 00 
Shannon-Fano: 0. 25 2 01 
0. 2 3 100 
0. 05 5 11100 
0. 05 5 11111 
EMKE) =0. 9+0. 5+0. 6+0. 25 十 0. 25=2. 5, 
b: 码 字 
0. 45 1 
Huffman: va 由 
0. 2 000 
6. 05 * 0010 
0. 05 0011 
ESF K HE) =0. 45 十 0. 5 十 0. 6 十 0. 2+0.2=1. 95, 口 


举例 1.1.18 Shannon-Fano 编码 一 般 并 不 是 最 优 的 ， 然 而 ， 它 并 不 比 Huffman 编码 长 多 
少 ， 试 证 明 ， 如 果 Sst 是 Shannon-Fano 的 码 长 ， 那 么 对 于 任意 7 一 1，2，… 以 及 码 长 为 
S" 的 任意 可 译 码 f 有 
Rr 
解答 id 
P(S* <Sge—r) = yp 


i€ Ls" (DSsgp Dr 


FERME, srC)<—logp (i) 十 1， 因 此 ， 由 Kraft 不 等 式 可 得 
Sin PUNS ps pli) = ED pli) = >» pi) 


i€ Ins” Gi) <sgpG)—r i€ lis” (i) <—log, PD Els” O l+r<—log pCi) ie LOL (D 十 ] 一 r 


< Sen eer = git Sgr wW Z qg oO 
icl 


tiETI 


现在 ， 常 见 的 做 法 不 是 将 每 个 vxE 工 单独 编码 ， 而 是 将 信 源 消息 划分 为 固定 长 度 寺 的 
“区 段 ” 或 者 说 “ 块 ”， 并 将 这 些 段 或 块 编码 。 很 明显 ， 这 种 方法 增加 了 符号 集中 字母 名 义 
上 的 数量 : 这 些 块 都 是 从 Cartesian 乘积 P” SIX- (n K) XI 中 得 来 的 。 但 最 重要 的 是 码 
块 在 典型 信息 中 随机 分 布 的 箭 : 


有 生生 下 I a tpete Ue = te) CL. 28) 
(很 显然 ， 我 们 需要 知道 连续 发 送信 源 字母 的 联合 分 布 .)S” 代 表 在 可 译 段 码 字 中 的 随机 码 
长 。 定 义 每 一 信 源 比特 的 最 小 期 望 码 长 为 e,: =min “ES”, 根据 Shannon 的 NLCT 准 


则 ， 它 满足 

ee ee +4 (1.1.17) 
可 以 看 到 ， 当 nn 较 大 时 ，e, ~hy?/n. 

例子 1.1.19 对 于 一 个 发 送 字 母 i 且 概 率 为 p(i) 的 Bernoulli 信 源 ( 如 例子 1.1:2)， 等 
ARIDE 
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hy” N D pCi) pi, log, (pi) pG,,)) 
ee (1. 1. 18) 
= a z 2 pi )pG,) log,p (i;) = nh, 


f=) ip esi, 


其 中 , hs = 一 pC(i)logsp (i) 。 这 里 e~h Ak, MERA n, E-THRRMG, H 
个 信 源 字母 的 最 小 期 望 码 长 最 终 会 达到 下 界 (1.1. 13) ， 因 此 不 会 超过 minES， 也 就 是 逐 字 
母 编 码 的 最 小 期 望 码 长 。 这 种 现象 在 后 面 信 源 不 独立 的 情况 更 为 明显 。 在 很 多 情况 下 ， 
jzj， 即 < 入 Ps。 这 是 数据 压缩 的 核心 思想 。 

所 以 ， 长 字符 串 统计 成 为 信 源 的 重要 特性 。 由 定义 可 知 ， 长 度 为 对 的 字符 串 u” = 
zz 满足 Cartesian 积 1%"; 像 这 种 总 数 是 m 的 字符 串 ， 为 了 能 够 编码 这 些 字符 串 ， 需 
要 m" 二 2™w” 个 不 同 的 码 字 。 如 果 码 字 有 固定 的 长 度 (保证 了 无 前 缀 属性 )， 那 么 这 个 长 度 
St FL nlogm ] 和 [nlogm ] 之 间 。 那 么 对 于 较 大 的 2， 编码 速率 接近 logm 比特 每 信 源 符号 。 
但 是 如 果 有 一 些 字符 串 很 少 出 现 ， 我 们 可 以 忽略 它 ， 并 减少 所 使 用 码 字 的 数量 。 这 引出 了 
以 下 的 定义 。 
定义 1. 1.20 ”如 果 一 个 信 源 以 RR 二 0 的 速率 编码 ， 对 于 任意 n， 我 们 能 够 得 到 一 个 集合 
A,CI*", 使 得 

HA ecg p lim PU” EA,)=1 CENE, 195 
换 句 话 说 ， 对 于 长 信 源 字符 串 ， 我 们 能 够 在 可 忽略 误差 的 情况 下 ， 以 速率 尺 来 编码 信息 。 
定义 1. 1.21 一 个 给 定 信 源 的 信息 速率 是 可 靠 编 码 速 率 的 下 确 界 : 


H = inf[R:R 是 可 靠 的 ] (1. 1. 20) 
定理 1.1.22 对 于 具有 符号 集 I, 的 信 源 ， 
0< H< logm (1.1.21) 


两 个 界 都 是 可 达 的 。 
证 明 LHS 不 等 式 是 很 简单 的 。 它 是 由 一 个 退化 信 源 得 到 的 (比如 ， 例子 1.1. 2c); 这 里 ， 
A, 包含 小 于 或 等 于 m 个 常量 字符 串 。 对 于 任意 的 R 二 0，A, 最 终 小 于 2”。 另 一 方面 ， 
#1*" 二 wp 二 2"”， 因 此 RHS 不 等 式 成 立 。 对 于 独立 同 分 布 信 源 ，p(u) 二 1/m: 在 这 种 情 
oF, P(A,)=(/m")#A,, 44A,<2", R<logm 时 ，P(A,) 接 近 于 零 。 口 
例子 1. 1.23 (a) 对 于 电报 英语 ，m= 二 27 二 2*“* 即 H<4.76, PRHE, H4. 76 使 得 以 
下 各 项 成 为 可 能 : 中) 数据 压缩 ; (ii) 错误 校 验 ; GDR; (iv) 译 码 。 电 报 英语 的 精确 值 
H 还 不 知道 (更 不 用 说 文学 英语 了 ) ， 准 确 地 评估 它 是 件 很 困难 的 事情 。 然 而 ， 假 设 它 来 自 
于 通过 大 量 “ 随 机 性 ”和 “ 同 质 化 ”操作 的 信 源 ， 现 代理 论 工具 以 及 计算 设备 就 能 够 计算 
出 这 些 给 定 (长 ) 文 本 的 信息 速率 ( 见 文献 L36] 的 6. 3 节 )。 

数值 分 析 的 许多 结果 在 文献 [136] 中 能 够 找到 ， 它 解释 了 三 种 文本 : (a) 莎士比亚 文集 ; 
(b) 来 自 各 种 报刊 的 混合 文本 ; (ec) 英 皇 钦定 圣经 。 这些 文本 都 取消 了 标点 ， 单 词 之 间 的 空格 
也 都 删除 了 。 文 本 (a) 和 (b) 分 别 得 到 的 值 是 1.7 和 1.25( 这 对 现代 新 闻 业 是 相当 有 吸引 力 
的 )。 在 情况 (c) 中 ， 值 是 不 定 的 ; 很 显然 在 这 个 例子 中 ， 上 述 假设 并 不 适合 这 种 情况 。( 比 
如 ， 创 世纪 的 系谱 枚 举 很 难 与 Paul 的 哲学 讨论 信件 相 比较 ， 所 以 信 源 的 同 质 化 很 明显 没有 得 
以 保持 。) 

更 具有 挑战 性 的 是 比较 两 种 语言 : 哪 一 个 更 加 适合 互相 通信 ? 用 上 述 实验 来 比较 托 尔 
斯 泰和 陀 思 妥 耶 夫 斯 基 的 文集 也 会 很 有 趣 。 

为 了 便于 说 明 ， 我 们 给 出 了 莫 尔 斯 电码 创始 人 Samuel Morse(1791—1872) 的 原始 表 ， 
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它 提供 了 在 由 相对 少量 的 常用 词 占 主导 的 电报 英文 中 不 同 字 母 的 频 度 。 
E TA I 有 
12000 9000 8000 8000 8000 8000 8000 6400 6200 
D i U Ee E A y G 
4400 4000 3400 3000 3000 2500 2000 2000 1700 
P B V K Q si X Z 
1700 1600 1200 800 500 400 400 200 
Cb) 相似 的 想法 应 用 在 给 定数 的 十 进 制 和 二 进 制 分 解 上 。 比 如 ， 取 数字 r。 如 果 对 于 二 [16 
进 制 分 解 的 信息 速率 接近 1( 这 是 一 个 随机 选择 序列 的 信息 速率 )， 我 们 也 许 会 认为 < 表现 得 
像 随机 数 一 样 ， 或 者 说 我 们 可 以 认为 它 是 一 个 经 特殊 选择 的 数 。 同 样 的 问题 是 关于 e、V2 或 


者 Euler-Mascheroni 常量 y = lim ( x 二 一 EN) . 


Ne NIERSN 7 


(Hilbert 的 一 个 开放 性 问题 就 是 证 明 或 者 反 证 y 是 个 
超越 数 ， 这 些 超越 数 形成 了 在 并 发 数 Bernoulli 信 源 下 
概率 为 1 的 集合 .) 就 像 多 个 实验 结果 显示 的 一 样 ， 对 
于 在 N~500 000 中 的 数 ， 上 面 提 到 的 数字 表现 出 像 随 
机 数 一 样 的 行为 方式 ， 见 文献 [26]。 在 1.3 节 中 ， 我 
们 将 计算 出 Bernoulli 和 Markov 信 源 的 信息 速率 。 

我 们 用 下 面 简单 但 很 基本 的 事实 总 结 这 一 节 。 
定理 1.1.24 (Gibbs KFA; 参见 PSE II，421 MARLO Pip DS AANEEN 
(在 一 个 有 限 或 者 可 数 集 工 上 的 ) 。 那 么 ， 对 于 任何 b>1, 


ypG) log, e <0, 也 就 是 一 Dp(i) logsp(i) <— 了 1p(i) logp' 0) 





1-3 


(1. 1. 22) 
HAS ARS p =p li), 1EI N, FARA. 
证 明 4 r>0, R 


log.x < Ar 


成 立 ， 当 上 且 仅 当 z=1 时 ， 等 式 成 立 , 令 了 二 {i; pO>o0}, RNA 


: p' (i) = ; p'G) — BAD 
Jub eee G TEA lee as <O (SG t) 


eg es ALAR YA 
= nb 24? (i) 2,0) ing Dr D 1)< 0 
如 果 等 式 成 立 ， 需要: (a4 pG)=0 mf, Ap OD 二 1, 即 p'(i) = 二 0; (b) 对 于 iET， 
rel’ 
p'(i)/pG)=1. 2 


1.2 W: 简介 


RAAMEST. 
Anton Chekhov(1860 一 1904)， 俄 罗斯 作家 及 剧 作 家 


这 一 节 全 部 用 来 介绍 炉 的 性 质 ， 为 了 简单 起 见 ， 我 们 研究 二 进 制 的 炉 ， 这 里 的 对 数 底 
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都 是 2。 因 此， 我 们 将 记号 h 的 下 标 2 省略。 我 们 首先 简单 重复 基本 定义 ， 重 点 强调 其 不 
同 之 处 。 
定义 1.2.1 给 定 事件 A 的 概率 为 CA)， 则 A 发 生得 到 的 信息 量 被 定义 为 : 
,1(A) =— logp(A) 
另外 ,假设 X 为 一 个 随机 变量 ,， 它 从 不 同 数值 集合 {x1，…，z} 中 取 有 限 个 数 ， 概 率 为 
pi 三 px (xi) 二 P(X=zx;)， 二 进 制 粹 hh(X) 被 定义 为 从 观察 X 中 获得 的 信息 期 望 : 
ACX) =— >) px(a,)logpx(x,) =— X p: logh: = E[—logpx(X)] C2.1) 


CEFER 0 + logO=0, XFIRE px (a) >0 的 x; 来 说 和 也 许 会 减 小 。) 
有 时 候 换 种 思路 会 变 得 很 有 效 : i(A) 代 表 描 述 事 件 A 所 需要 的 信息 量 ,，h(X) 给 出 了 
描述 随机 变量 X 的 信息 量 的 期 望 。 
很 明显 ， 炉 h(X) 依 赖 于 概率 分 布 而 不 是 值 r an: h(X) 二 h(p1，…pmn)。 对 于 
7 二 2( 两 点 概率 分 布 )， 考 虑 单 变量 pE [0，1] 的 函数 np) (二 加 (Pp)) 更 加 方便 : 
np =— plogp — (1 — p)log(1 — p) CIs 2. Za) 


nop) MIA 1-4 所 示 ， Bn sp) =— Clog e)/Lp(1 一 p)] 二 0， 其 图 像 是 四 形 的 ， 见 图 1-4, 








p, p+qte[0,1 Ek 


pÝE[O, 1 EJAS 


e LEET 
MI 
II 





h(p,1—p) 

















= AA AG AS 
íp: =— plogp — gqlogg— (1 — p— q) log. — p =g) 
如 图 1-5 所 示 ， 其 中 变量 p, gELO, JA pt+e<], CERAH RAHM. 
定义 1.2.1 表明 对 于 两 个 独立 的 事件 : A 和 AD, 
i(A; A Az) = AANA CA) (1. 2. 2b) 
且 对 于 p(A)=1/2 的 事件 A, i(A)=1, 
定义 1.2.1 的 验证 来 自 一 个 事实 : 对 于 任何 一 个 函数 i"(A)， 这 个 函数 (i) 取 决 于 A 
的 概率 p(A)( 如 果 p(A)=p(A’), Wit (AD=i" (A')); (让 关于 p(A BEAM; GDW 
ERA. 2.2b), HS (AIR AME MM, BSP MAA 1. 2. 24) 。 
定义 1.2.2 给 定 一 对 随机 变量 头 ，Y， 且 取 值 分 别 为 zi yj KEM A, WRELH: 
h(X,Y) = FE px (a; .y, logpx,y(2:+9;) = Hl—logpxy(X,Y)] “(1.2.3) 


Tydy 


其 中 Dx,y (ais y) P(X=2z;, Y y;) 是 联合 概率 分 布 ， 换 句 话说， A(x, Y) 是 随机 向 量 
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CX Y) 取 值 为 (zi， yy) AE 
ENRE Y AY X RFR A CX | YA ae Y 的 值 时 ， 从 观察 X 获得 的 信息 量 的 期 望 : 


h(X|Y) 三 一 bry nI logpxiy (z; |y;) = El—logpxyy(X|Y)] (1.2.4) 


29; 


在 这 里 ，pxy (is JÆ PXS, Y=) MRA, bx y (Zzi lyp) Æ P(X=2z;, Y=y,) 4) 
条 件 概率 。 很 显然 ， 式 (1. 2. 3) 和 式 (1. 2.4) 表 明 : 
h(X|Y) = ACX,Y) —h(Y) C12! 5} 
注意 ， 一 般 来 说 , hCX|YFACY |X). 
对 于 在 同一 集合 工 中 取 值 的 随机 变量 X 和 Y， 使 得 对 于 py (2) >0(rE DT), ACX || YD 
(也 被 称 为 X 相 对 于 Y BRA Kullback-Leibler 距离 D(px || py)) 被 定义 为 : 
px (a) 








AXIY = Dx log PE = Ex (— log mea (1. 2.6) 
其 中 py (2) =P(X=2), py(7x)=P(Y=x), rET, 
Aj AY fei FE J AN F o 
定理 1.2.3 (a) 如 果 一 个 随机 变量 X Akkim, M: 
0< A(X) < logm Kleene 


LHS 成 立 当 且 仅 当 X 取 一 个 单一 的 值 ， 且 RHS 等 式 成 立 当 且 仅 当 义 取 等 概 的 m 个 值 。 
(b) KARRE 
h(X,Y) <ACX) FACY) (1. 2. 8) 
当 且 仅 当 六 和 YY 是 独立 的 ， 等 号 成 立 ， 即 对 于 所 有 的 ze, yell, P(X=x, Y=y)=PX= 
x)P(Y=y). 
Ce) 相对 炳 总 是 非 负 的 : 
h(X || Y) 三 0 (1. 2.9) 
SARS X 和 了 是 同 分 布 时 等 式 成 立 ， 即 px(x)=py(2), XET。 
证 明 根据 定理 1.1. 24， 结 论 (c) 与 Gibbs 不 等 式 等 价 。 接 下 来 ，(a) 可 以 由 (c) 推 导出 ， 
， 其 中 {pO9) 为 X RA p'G@)=1/m, 1<i<m, Ai, Cb) tha (co) HE SH, 
其 中 , (BAX, YR, i), Ap@D=pryGi, AX, 了 的 联合 概率 分 布 ， 
p' (站 二 px (ii)py(is) 表 示 它 们 边缘 分 布 概率 的 乘积 。 BRE: 
(a) h(X) =— >) p(ilogp(i) < >) p()logm = logm 
(b) AEX YY =— S) px Gi sip) logpxy Cii viz) 


<— J) buy Cirsie) X log px (i) py G2) 


(iy vin) 
ay >) px G logpx (ir) = >) by (is log py Cis) 
= AX) + ACY) 
这 里 我 们 用 到 了 恒等式 : >) pry Gis siz) = bx in) + >) Px. i siz) = py(i,) 。 | 
举例 1.2.4 (a) 证 明 几 何 随机 变量 Y:; pj =PY=j)=(1—p)p’, j=0, 1, 2, =, BAF 


有 具有 相同 均值 且 Z; = 二 (0， A; Ze SH DAP, 它 具 有 最 大 的 炳 。 
(b) 设 2Z 是 一 个 从 有 限 集合 开 中 取 值 的 随机 变量 ，f 是 一 个 已 知 的 实 函 数 f KR, $ 
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P f.=min[ fk): KEK], 且 f* 一 max[f(k): kEK]. RE = DS) F)/(#K), HF 
kEK 


MME ZHBA ZAHRA M, AREA: 
Ef (Z) <a (1. 2. 10) 
证 明 : 
(bi) 当 f, 过 全 忆 ( 记 时， 那么 最 大 化 的 概率 分 布 是 关于 开 的 均匀 分 布 ， 即 P=) = 
1/(#K), REK. 
(bii) 当 f, 二 a 二 E(f)， 且 f 不 是 一 个 恒定 变换 时 ， 那 么 最 大 化 的 概率 分 布 为 ; 
PZ=k) = pp = / Die E K gr) 
其 中 有 4 二 A(a) 二 0， 且 满足 : 
了 G21 
k 
此 外 ， 假设 Z 取 可 数 的 多 个 值 ， 但 是 f 宇 0， 并且 对 于 一 个 给 定 的 a 总 存在 A 过 0， 
Seve <0 WR 52 Prf(k) 二 a 成 立 ， 其 中 p 具有 式 (1. 2.11) 的 形式 。 
i k 
(biii) 式 (1. 2. 11) 的 概率 分 布 仍然 可 以 最 大 化 式 (1. 2.10) 中 的 h(Z)。 从 (biii) 中 可 以 推 
出 结论 (a)。 
(c) 证 明 hy(X)S>0, FANS RA x， 当 且 仅 当 P(X==x) 二 PLY 二 zx) 时 ， 等 式 成 立 。 考 
虑 了 这 个 具有 适当 选择 参数 的 属于 Ze 的 几何 随机 变量 ,证 明 如 果 均 值 EX=p<co, M4 
h(X) < (Gut Dlog(ut+ 1) — ulogu GUAE, 
SORE X 为 几何 随机 变量 时 ， 等 号 成 立 。 
解答 (a) 根据 Gibbs 不 等 式 ， 对 于 所 有 均值 为 >)ig; < y ERA Gos gis Ds 
i>0 


hl(g) =— Diqilogg: <— Dyqilogp: =— >): (log — p) + ilogp) 


<-— log — p) — plogp = ACY) 
其 中 p=p/1—p. SEI a 为 均值 为 六 的 几何 随机 变量 ， 则 等 式 成 立 。 
(b) 首先 观察 关于 p51 FO HHA, MMH. 2.1 PH AH=0, E4 ACZ) 
获得 全 局 最 大 化 ， 在 (bi) 中 ， 这 个 分 布 满足 式 (1. 2. 10)。 因 而 在 这 个 约束 条 件 下 ， 最 大 化 


h(Z)。 转 到 (bii)，, 假设 pi =e 2 eV, REK, ER BME A RME E 7(Z) = 


E pif =a, Bi q= lq EWE BS = 》 uf Ka 的 任意 分 布 。 观 察 可 得 ， 由 式 
C1. 2.11) 计 算出 的 概率 分 布 的 期 望 是 关于 a 的 非 减 函数 。 事 实 上 ， 导 数 
了 (SD) FR) ee ) 
dà T a ev? (5 ev j 
是 一 个 正 数 ( 它 导出 了 随机 变量 /2) 的 方差 ); 对 于 非 恒 定 的 f, RHS 是 实际 上 是 非 负 的 。 
因此 对 于 非 恒定 的 f( 即 关于 f SEMI), MHL... f 之 间 的 任意 a,， 恰好 存在 


一 个 满足 式 (1. 2. 12) 且 形 如 式 (1. 2. 11) 的 概率 分 布 。 对 于 fe 二 aE(f)， H Aa. 
接 下 来 ， 我 们 利用 这 样 一 个 事实 : Kullback-Leibler 的 距离 Dla || p* )( 如 式 (1. 2. 6)) 


WE Dll p= 》) grlog(gqi/pi ) 宇 0(Gibbs 不 等 式 ) 以 及 S) qif Ka, 4 二 0 来 获得 
k k 





= ELf(Z)  —LEf(2) F 
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h(q) =— N aloga =— D(q le nS oer 
<— Dalogps = (log eo +afce)) 
k k i 
<— Sa (一 log >) ev )— àa =— Spr (— log $ \ev® +Af (Rk) ) 
k i k i 
=— Jb: logpi = h(p") 
对 于 (biiil ， 如 果 从 式 (1.2.12) 中 得 出 的 Xe)<0， 对 于 一 个 可 数 无 限 集 K, ERE 
仍然 成 立 。 
Ce) 根据 Gibbs 不 等 式 ， hy (X)20, 然后 ， 通过 fo=k;, au 以 及 A 二 lng， 我 们 使 
用 (b) 的 结果 ， FRA A A Fp A] BH pj =A pp, j7—0, 1 2 这 里 S) kpi =E 
k 
或 p= p/1—p, At AET 
h(p*) =— $ 0- p) p'loglA— pp) 








erol log(1 — p) = (p+ 1)log(p + 1) — plogu 
HP, p=p/U—>p). 
或 者 : 
: p@ 
0<hy(X) 270 Dlog Ga 
= —h(X) — log — p) >) pCi) — ogp) ( Dyip 0) ) 
= —h(X) — log(1 — p) — plogp 
p EEE p=p/(pt1). BA, 

1 
ptd 
RHS 就 是 几何 随机 变量 Y WAY). KHA X~Y, BX 是 几何 随机 变量 时 ， 等 号 
成 立 。 mi 

Gibbs 不 等 式 的 一 个 简单 但 有 用 的 推论 是 如 下 。 
引 理 1.2.5 (pooling 不 等 式 ) 对 于 任意 q, HO, #Ratg>o, M 
一 (qi 十 gz)log(q +q) <— qı loggi 一 gzlogqs 





h(X) <— log — wlos Si = (n+ Dlog(u+ 1) — ulogu 
H 


1221 
<= (gq +4 )log 2H coal 
SARS qq. =0 即 qi 或 qz 为 0) 时 ， 第 一 个 等 号 成 立 。 当 且 仅 当 gi 二 9q; 时 ， 第 二 个 等 号 
证 明 实际 上 ，(1. 2. 14) 等 效 为 
qi q2 ae 

0<A( tt) < lot(= oO 
根据 引 理 1.2.5, “HRA” —P REPL RHA A Va XT A A TK. A 

面 ， 等 概率 的 “重新 分 布 ” 可 以 增加 贡献 。 引 理 1. 2. 5 的 一 个 显而易见 的 推论 如 下 。 
定理 1.2.6 假设 一 个 离散 随机 变量 和 是 另 一 个 离散 随机 变量 Y H BK: X=Y), MPA 
h(X) <ACY) (1. 2.15) 
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当 且 仅 当 多 可 逆 时 等 号 成 立 。 
证 明 KE, MRA aM, MAX 和 了 概率 分 布 的 区 别 只 在 于 概率 的 顺序 ， 不 会 改变 
Wi. WIR} “REA” LE y DBA RRAT AT WA kz 2 AY pooling 不 等 式 的 左 值 。 Oo 
举例 1.2.7 BIR pir > b 是 一 个 概率 分 布 ， 其 中 p= malp]. 
EAF th) hh =— >) p logp, 的 下 界 : 

(i) h>— p* logp* -a-p )log(.1— p* )=7(p* ) 

Gi) h2=—logp* 

Gii) AS20—p") 
解答 (i) AT A pooling 不 等 式 推导 出 ，(ibD 的 成 立 是 由 于 

i= > pilogp* =— logp" 图 1-6 


对 于 (ii) ， 先 假设 p" 宇 1/2。 由 于 函数 pry), 0< p<] BMM(SBRMRKA. 2.3), € 
在 L1/2，1] 上 的 图 像 在 直线 x FS2(1 一 p) 之 上 (如 图 1-6 hm). BA, AONB 





h> yp") >20—p*) (1. 2. 16) 
另 一 方面 ， 如 果 p <12, RHAH GD 可 得 : 

h >— logp* 
并 利用 不 等 式 : 对 于 OS p<1/2 A —logp>201—p). 口 


定理 1. 2.8 (Fano 不 等 式 ) 假 设 随 机 变量 XRm>1l 个 值 ， 其 中 一 个 值 的 概率 为 (1 一 e)。 
那么 

h(X) < fe) + elog(m 一 1) CE i7) 
HP 7 ZAC. 2. 2a) 定 义 的 函数 。 
证 明 假设 力 二 p(xzi) 二 1 一 e。 那 么 


A(X) = hpi ++ Pm) =— >) pilogp, 
i=1 


== p logh — (1 — p; log(1 — p)) + — p, log] — A D p:logp: 


2<i<m 


=pl = pi) + = pdh( TEE Pe) 
i 


右边 第 一 项 等 于 mn(e)， 第 二 项 不 超过 elog(m 一 1)。 Oo 
定义 1.2.9 给 定 随 机 变量 X，Y，Z， 我 们 称 当 给 定 Z 的 X 和 YY 是 条 件 独立 的 ， 如 果 对 
所 有 工 和 >y， 以 及 对 所 有 z 满足 P(Z= 二 zx) 二 0， 有 
P(X = x,Y = y|Z = z2) = KX =2|\Z=DPVY=y|Z=2 (1.2.18) 
FRARI BSAA TF E, 
EH 1.2.10 (a) 对 于 所 有 的 随机 变量 X，Y， 有 
0<hA(X|Y) <ACX) (1. 2.19) 
当 且 仅 当 和 是 了 的 函数 时 第 一 个 等 号 成 立 ， 当 且 仅 当 X HY 相互 独立 时 第 二 个 等 号 成 立 。 
Cb) 对 于 所 有 的 随机 变量 X Y, Z, 
A(X |Y,Z) <ACKX|Y) SACK |S(Y)) (1. 2. 20) 
当 且 仅 当 和 和 2 在 给 定 立 条 件 下 相互 独立 时 第 一 个 等 号 成 立 ， 当 且 仅 当 和 和 2 在 给 定 
g(Y) 条 件 下 相互 独立 时 第 二 个 等 号 成 立 。 
证 明 (a) 式 (1.2.19) 的 左边 可 由 式 (1. 2.4) 推 导出 (因为 h(X|IY) 是 非 负 项 的 和 )。 右 边 可 








信息 论 基 础 17 





由 式 (1. 2.5) MSOC. 2. 8) 推 导出 。 式 (1. 2. 19) MAR ACX, Y=ACY) BK hX, 
Y=AC(X, Y)), HP OX, Y=Y. WTEM 1.2.6 可 知 ， 当 且 仅 当 依 概 率 1 映射 (X， 
YDY awn, BX EY KRAAN, ERRE. SAMY ACK, YY=A(X)+ACY), ， 即 
X MY 相互 独立 时 ， 式 (1. 2. 19) 的 右边 等 号 成 立 。 

b) 对 于 下 界 ， 使 用 与 式 (1. 2. 5) 相 似 的 公式 


h(X|Y,Z) = ACX,Z|Y) —ACZ|Y) Cie a 
和 与 式 (1. 2. 10) 相 似 的 不 等 式 
hACX,Z|Y) <ACX|Y) A (4:2) 22 


“AM X AZ 在 给 定 立 条 件 下 相互 独立 时 等 号 成 立 。 对 于 右边 的 界 ， 使 用 : 

Ci) SR ACKlY, CY) =ACX, YIL) |Y), BERRA. 2. 21) 中 的 一 个 特 
例 ， 同 时 注意 到 ACX|Y, (CY) =ACX|Y). 

GD AES ACK, YIP CY) )<ACK SCY) +hCY |Y), ERC. 2. 22) 中 的 一 个 特 
例 ， 当 且 仅 当 久 和 YY 在 给 定 $(Y) 条 件 下 相互 独立 时 等 号 成 立 。 = 

上 面 的 定理 1. 2.8 和 下 面 的 定理 1.2.11 HR T4 X EMAER, EAA 
Y A9— 7 PRO AT XD ARE CX Y) and SEB A 
定理 1.2.11 (广义 Fano 不 等 式 ) 对 于 一 对 分 别 从 Tis ts Im 和 yi，…，yn 取 值 的 随机 
EBX FY, wR 


SPX = YY = yj) = 1—e (1. 2. 23) 


那么 人 
ACX|Y) < ple) + elog(m — 1) [py 
其 中 (ED) 在 (I 2.3) P EZR. 
证 明 Se =PXAz,|Y=y,), 我们 有 
Spy (ye; = S PRA 2;),Y = y,) =e (1. 2. 25) 
BERRE, Fano 不 等 式 和 函数 x(。 ) 的 四 性 可 得 ， 
A(X|Y) < Dpr (IP (qe) + esloglm— 1) 


< Dare) + sown < n(e) + elog(m — 1) oO 


如 果 随 机 变量 X 取 可 数 的 多 个 值 a, ZX2，"…}， 那 么 上 面 的 定义 和 大 多 数论 断 可 以 
HS; 而 取 不 同 值 时 ， 显 著 的 区 别 在 于 (1. 2.7) 中 右边 的 界 以 及 式 (1. 2.17) 和 式 (1. 2. 24) 
中 的 不 等 式 。 

目前 所 列 出 的 箭 的 许多 性 质 可 以 扩展 到 随机 序列 中 。 
定理 1.2. 12 ”对 于 一 对 随机 序列 XP =X, oo, X, FY" 一 (Yi ，…，Y)， 

(a) KS, F 


AX) =— D PAS = x log P(X™ = ) 


满足 
A(X”) = Dax, [eyes < Yaw (1. 2. 26) 


当 且 仅 当 元 素 Hip ae, 5 相互 独立 时 等 号 成 立 ; 
(b) HH. FP 


[ 28 | 
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hx” hye) =l POX” = x™ Yy” < 一 y” )logP(X” = x” Ie = y™) 


n) tn) 
' 


xí y. 


满足 
BRN SU DD, CL ZRT) 
i=l i=1 


当 且 仅 当 XI ，…，X, 在 给 定 Y" 条 件 下 相互 独立 时 左边 等 号 成 立 ， 当 上 且 仅 当 对 于 每 个 i 二 
1, =, n, X: 和 {Y,: 1ISKrSn, rAi EAR Y; 条 件 下 相互 独立 时 右边 等 号 成 立 。 
证 明 此 证 明 重 复 之 前 标量 情况 下 的 过 程 即 可 。 回 
定义 1.2.13 XMYMARAMABICX: Y) 定 义 为 
as y rr a 
ETSY pees Doe SEO mE S TEA 
= h(X) + ACY) —ACK,Y) = ACK) —ACX|Y) 
=h(Y) —h(Y|X) 
DESREI E fo IX: YIM: X), 
直观 上 来 看 ，I(X: Y) 度 量 了 了 承载 的 关于 X 的 信息 量 ( 反 之 亦 然 )， 定 理 1. 2. 10(b) 
表明 了 如 下 定理 。 
定理 1.2.14 如 果 随 机 变量 $Y) 是 Y 的 一 个 函数 ， 那 么 
0 KEYS) AY (1, 2. 29) 
当 且 仅 当 X 和 多 (Y) 独 立时 第 一 个 等 号 成 立 ， 当 且 仅 当 和 和 了 在 给 定 四 (Y) 条 件 下 相互 独 
立时 第 二 个 等 号 成 立 。 
举例 1.2. 15 假设 两 个 非 负 的 随机 变量 和 和 Y， 其 中 Y=XTTN， 而 人 是 在 Zi+ 上 取 值 的 
几何 随机 变量 ， 并 且 独 立 于 和 。 请 确定 了 的 分 布 ， 使 得 和 和 交 的 互信 息 在 期 望 取 X 扫 开 的 
约束 下 最 大 ， 并 且说 明 这 个 分 布 可 以 通过 在 某 一 概率 下 将 X 赋值 为 0， 在 互补 概率 下 让 其 
服从 几何 分 布 来 实现 。 
解答 ”由 于 Y= 二 =X 十 N，X 和 NN 相互 独立 ,我 们 有 
I(X:Y) = ACY) — ACY |X) = ACY) 二 有 ON) 
此 外 ECY) = BCX) + BE(N)<K+ECN), BRU RNR FRAT RE PRUE Y 服从 均值 为 KK 十 EC(N) 的 
几何 分 布 ， 那 么 它 能 给 出 I(X: 了 ) 最 大 值 。 基 于 此 ， 写 出 概率 生成 函数 的 等 式 : 
E(z’) = E(2*) E(2%),z>0 
其 中 E(2%)=(1—p)/(—zp), 0<2<l/p, UR 


了 2 ls = 
Be) E <a, 


(1. 2. 28) 














其 中 p* 可 以 从 下 式 中 求 得 
je oo a RG Rees 
ae eT ok ea Ora i 
这 会 得 到 
1+KQ—p)’ LEKI =p) — 2p F RO =p) 
以 及 
E(z*) = = (1. 2. 30) 


LK KA = py) 
在 这 个 例子 中 提 到 的 X 的 分 布 形式 会 导致 
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aehan oe See (1. 2. 31) 
Peep 
其 中 心 十 (1 一 ko)(1 一 px) 二 P(X 二 0)。 选 取 
A aphkEOUnp se p 
“ 14+KQ0—p)"” p+KQ—p) 
我 们 看 到 式 (1. 2. 30) MAA. 2. 31) 相 等 。 回 


我 只 求 消 A oot cue 
Charles Dickens(1812—1870), % B44, 4] 4 (David Copperfield) 


在 定义 1.2.13 和 定理 1.2.14 中 ， 随 机 变量 X 和 并 可 以 被 随机 序列 取代 。 此 外 ， 重 
复 上 面 对 于 序列 X”” 和 Y"” 的 证 明 ， 我 们 得 到 以 下 定理 。 
定理 1.2. 16 (a) 随机 序列 之 间 的 互信 息 服 从 


KX? Y) > h(X™) — SWX, YP) > hex”) — SX, (E 0 
(b) 如 果 Xi, s X, Ea, mK ef 
TEX OYE?) = SUX, Y?) Glia. oo) 
观察 得 到 N 


n 


DURY: S SICK: Yi) (1. 2. 34) 


i=1 i=1 
举例 1.2. 17 X, ZWEE, YP 一 (Y，…， 了 ) 是 一 个 随机 序列 。 
(a) 证 明 不 等 式 
0 < I(X:Z) < min{h(X),A(Z)} 
(b) 证 明 或 通过 反例 证 伪 下 面 不 等 式 


KOR ir D WEG (1.2.35) 
j=l 
首先 在 Yi ， side ry) 相互 独立 的 假设 下 证 明 或 证 伪 ， 然后 在 Yi» pea Ya 在 给 定义 相互 独 
立 的 假设 下 证 明 或 证 伪 。 
(c) 证 明 或 通过 反例 证 伪 下 面 不 等 式 


KX YO) > SLX (1. 2. 36) 


j=1 


BRAY. +, Y, 相互 独立 的 假设 下 证 明 或 证 伪 ， 然 后 在 到 ，…，7, 在 给 定 X RHF 
相互 独立 的 假设 下 证 明 或 证 伪 。 
解答 (a) 根据 Gibbs 不 等 式 ，I(X: Z)SOA 


三 三 二 = _PUX = 2,2 = 2) 
I(X:Z): = 2PX YY 


= h(X) —h(X|Z) = h(Z) —hA(Z|X) 
XR ACX|Z)S0, A(Z|X)>S0,. 因此 KX: DKACKY NX: Z<A(Z), MUX: ZD< 
min[ A(X), A(Z)]. 
(b) 写 出 
TOW =hv™) = Aea |X) (L237) 
然后 ， 如 果 Y) ，…， 交 在 给 定 生 条件 下 相互 独立 ， 式 (1 2. 37) 的 右边 等 价 于 
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acy”) 一 Say, Vers XY = ACY, |X] = Ika) 
i= = j=1 


即 得 到 了 式 (1. 2. 35). 

(c) EFR, WARY, oo. YAAK, RA. 2. 37) 的 右边 等 价 于 

MH, ha [209 > Slaw) acy, T= YEG, 

即 得 到 了 式 (1， 2 36) 的 右 值 。 

Fi— Fi, PERC) EA AE PAR a. ELE, Mn=2, Y? =Y, Y), $Y, 
Al Y, 以 1/2 概率 独立 地 取 值 0 或 l, 了 二 四 Žo 设 X=(Y, +Y:)mod 23 那么 有 

ACX) = hACX|¥,) =1, 所 以 I(X:Y)) 三 0,7 = 1,2 
但 是 
ACX|¥?) = 0, 所 以 ICX:Y2) = 1 

此 外 ，(c) 在 条 件 独立 情况 下 也 不 成 立 。 实 际 上 ， 取 关于 状态 士 1 的 DTMC(Ui, Ur, +), 


© 4 
VN SA (1/2, 1/2), 转移 逢 阵 为 | 5 


Yi =A S Us Y3 = 


那么 Yi, Y. 在 给 定 X 条 件 下 相互 独立 : Yı =Y: =-X. A-AH, 
1 = 1(X.¥?) = hY?) 一 AZ) = hY) 
< h(Yi)+h(Y:) = ICX:Y) +I(X:Y:)=2 口 


回忆 一 个 定义 在 丁 集 VCR LHR FCy) ， 它 被 称 为 止 函 数 ， 如 果 
FAY +Ay?) Sd fy) taf”) 

MEY, yYPEV, Ao» AELO, 1), AtA=1. MRSS MEY =y” R ào =0 H 
时 候 成 立 ， 它 就 叫 作 严格 凹 函 数 。 我 们 把 ACX) AEE p 二 (p11，…，p，) 的 函数 ; 在 这 
种 情况 下 集合 V 是 {y= 二 (yi > yn) ER's yo, 1l<i<m, yı HF ym =l}. 
定理 1.2.18 WEET AH RBH BK, 
证 明 随机 变量 XO 服从 概率 分 布 P 2” ，i 二 0，1， 假 设 随 机 变量 A 分 别 以 概率 A. Ar 取 值 
OM 1, #AMWwFX®, XP, RX=X”, BARSK hOp” 十 Np )SraAsh(p)+ 
hp” ) 等 价 于 

h(X) > hCX| A) (1. 2. 38) 
它 能 从 式 (1. 2. 19) 中 推导 出 。 如 果 我 们 假设 式 (1. 2. 38) 的 等 号 成 立 ， 那 么 X 和 和 A 必须 独 
立 。 另 外 假设 1 之 0， 利 用 独立 性 可 写 出 

PX =i A= 0) = KX = DPA = 0) =a PX) 
左边 等 于 Ay PCX=i, A=0)=A PO, AUSF A Qo? +a pi’). 我 们 可 以 消去 à 得 到 
(d= ee =a”? 
即 概率 分 布 pO 和 pY MAB. MUENBAMS, 要么 二 0, r=1. Bi >00 也 可 以 
得 到 类 似 的 结论 。 Oo 
举例 1.2.19 证明 
XY) = hA(X|Y) +a(¥ |X) 

服从 
DRY) = ACX) ACY) —21(X:Y) OO — ICKY) = DAK YY) — A(X) — ACY) 
证 明 p 是 对 称 的 ， 即 (CX, Y)=Y, X)S0, FAMREMAREA, P(X, Y)+plY, 
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2Z) 宇 p(X，2Z)。 证 明 当 且 仅 当头 和 YY 是 彼此 的 通 数 时 p( 久 ，Y) 二 0。 另 外 证 明 如 果 六 和 
和 是 彼此 的 函数 时 0(X，Y) 王 PCX' ，Y)。 所 以 o 可 以 认为 是 随机 变量 X 集合 的 一 个 度量 ， 
当 且 仅 当 X' 入 是 彼此 的 函数 时 ， 被 认为 有 等 价 关 系 X~X', 
解答 ”检验 三 角 不 等 式 
h(X|Z)+hZIX) SACK|Y) HhACY |X) +Y |Z) +hZIY) 
或 者 
h(X,Z) ChX,Y) +A(Y,Z) —h(Y) 

EFI, Bi hCX, Z<ACX, Y, Z). ERB 

h(X,Z|Y) +ACY) SACX|Y) +A(Z|Y) +ACY) =h(X,Y) +h(Y,Z)—h(Y) 
4AM4MY=4(X, DMGDX, ZERE Y 条 件 下 相互 独立 时 等 号 成 立 。 O 
备注 1.2.20 EM pX, D=X, YoY, DBRS “A” YTM X MZA “A 
BR” E. Mam, SAA X, Y, ZEM—-ABAL. BEY, XA ZARA ET A 
用 另 一 种 (优雅 的 ) 方 式 表述 ， XYZ 满足 Markov 性 (简称 是 Markov 的 ) 。 然 后 假设 我 们 
有 四 个 随机 变量 X, ，X。，Xs，X4s， 使 得 对 所 有 1 过 i, 过 三 4， 随机 变量 X; o X, ERE 
X, 相互 独立 ; 这 一 性 质 意味 着 X > X, > X,>X, Æ Markov 的 ， 或 者 从 几何 上 看 ， 所 有 四 个 
点 在 一 条 直线 上 。 下 面 的 事实 成 立 : 如 果 X: >X: >X; >X Æ Markov 的 ， DU Er Be E 


TCX, :X3) + 1CX2 2X4) = 1X): Xs.) + 1X2: Xz) €1..2.:39) 
SR. TKAM., 
1 ACXy +X3) + h(X, 9X4) = h(X, Xa) +h(X, PCP Clo. 40) 


实际 上 ， 对 于 如 上 的 所 有 三 元 组 X; ，X; X, ， 利 用 度量 p 我 们 有 
p Xi Xi) = pC Xi, Xa) + pK, Xa) 
RIK A. EUR RSH 
A(X, »Xi,) = ACK, X) FI Xa Xr J — A(X) 
那么 式 (1. 2. 39) 变 为 下 面 的 形式 
ACX X2) +h KX, s Xa) ~h Xa) +h Xp Xs) FAX Xi) — ACK) 

= ACX; Xa) +hCX2+X3) —h(X,) + ACK Xi) +h(K, » Xy) — AX) 
它 是 一 个 简单 的 恒等式 。 
举例 1.2.21 考虑 如 下 的 不 等 式 ， 假 设 三 变量 X>Y>Z 是 Markov 链 ,其 中 名 是 随机 字 
符 囊 (Z1，…，2Z,)， 可 以 得 到 

DIAZ NXA HH UD = DAZ) -—AD 


l<i<n l<i<n 
解答 th X>Y>Z 的 Markov 性 质 可 以 得 到 如 下 结果 
I(X:Z) < KK Y 
因此 ， 能 够 证 明 得 到 


>) IZD — TZ) < KZZ) (1. 2. 41) 


l<ign 


如 下 所 示 ， 界 (1. 2. 4D XE X Al ZORA WR Markov 性 质 ) 都 适用 。 事 实 上 ， 式 (1.2.41) 
等 价 于 下 面 的 式 子 


nh (X) — DS) ACX,Z) +h ShX) +h) — hX, Z) 


l1<i<n 


或 
h(X,Z) —h(X) < Ý) h(X,Z:)—nh(X) 


1<ixn 
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从 而 反 过 来 可 以 得 出 不 等 式 AKCZ|X) << 》)h(2;|X)。 口 


1Ki<n 
Pi 


举例 1. 2422 对 于 概率 向 量 p= 9 可 以 有 等 式 h(p): =— >) pjlogp; ， 其 中 每 项 有 bi 








Pm 
OB p:te-+p,=1. 
(a) 如 果 P= (P) -ADERE PAE PEAR Pi 三 0 且 每 行 和 每 列 的 和 
aA 1), KAA CPp)Sh(p). tI, HORS PARKER, RiWh(Pp)=hA(p). 
(b) wR P -AEM p 是 满足 P: Pp 二 p 的 一 个 不 变 向 量 ， 试 说 明 h(p) > 


m 


p= y Ppp logP 。 


j=1 k= 


解答 (a) 对 于 所 有 的 Ài» c20 H a Ars 通过 利用 log 函数 zxFylogz 的 四 性 ， 可 以 得 到 


logta t et Aata S » A;loge;. M FA BI hCPp) 三 一 SIP 3; log( >) Paps) a 
ij k 
Zpilog( 2P; Papi) =— 之 pjlog((PTPp);)。 利 用 Gibbs 不 等 式 有 RHS>Sh(p). 4 


目 仅 当 P'Pp= pit, 也 即 P™P = 工 为 单位 矩阵 时 ， 等 式 成 立 。 当 且 仅 当 忆 为 置换 矩阵 时 
这 种 情况 发 生 。 

(b) 当 平稳 Markov 信 源 (Ul，U;，…) 有 均匀 分 布 p 时 ， 这 时 LHS 等 于 hh(U,)， 然 
而 等 式 右边 就 是 CU |U). TAAU- ERER hU, |U,_1) 寺 h(U,) 得 到 结果 。 口 
举例 1.2.23 随机 变量 序列 {Xi: j 二 1，2，…*} 形 成 了 一 个 具有 有 限 状 态 空 间 的 DTMC。 

(a) 通过 引用 标准 条 件 灶 的 属性 ， 证明 h(X; |X DACX; |X), LÆ DTMC 
ate LF, EAA ACK; |Xj-.)<2h(X;|Xj-1). 

(b) 证 明 当 1 过 mn 时 ， 互 信息 Xn: X,) RM m 递减 ， 不 随 n 递增 。 
解答 (a) 利用 Markov 性 质 和 平稳 性 ， 有 

WOK | Nia A Xe A) 
= A(X; XX) + ACK PR) = RA 

Cb) 可 以 得 出 

ICX a1 Xa) ~ KX K = BAX AX a) AN 1X) 
O KOR] RLS 
(在 给 定 X, 的 情况 下 ， 因为 Xn FOX 是 条 件 独 立 的 ) 
EREDO 的 ， 因 此 I(X,,: X,) 是 不 随 n 增 加 的 。 

同样 ， 

了 
lite, IXn: X,) 不 随 m 递减 。 

在 这 里 没有 使 用 平稳 性 假定 。DTMC 甚至 可 能 不 是 时 间 齐 次 的 (也 即 转移 概率 可 能 不 
仅仅 依赖 i，;， 同 样 依赖 于 过 渡 的 时 间 )。 口 
举例 1.2.24 ”给 定 随机 变量 YI，Y，,，，Y，， 定 义 

TCY1:Y, | Ys) = ACY, |¥5) FAC, A Y Ye YY 
现在 令 序列 X,, n=0, 1, 3 DTMC。 证 明 如 下 式 子 
| 
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同时 证 明 对 于 贡 二 0，1]，2，*…，T(X,: Xren ARM mm, 
解答 ”根据 Markov EM, ERE X, 时 ，X,-! 和 X,+1 满 足 条 件 独立 。 因 此 可 得 ， 
RUN, 1 a | AC, | X 
BERNA Y Xn+1|X,)=0. 同时 ， 
JE 
= BCX on) = RR) et) BEX, Xe) 
SAANA At Xe 
= ACX, | X etm) — RCR, |X nim Xni) SO 
因为 条 件 独 立 性 能 得 到 最 后 的 等 式 ， 根 据 1. 2. 21 得 到 最 后 一 个 不 等 式 。 口 
举例 1. 2. 25 (ABIL LX) (a) FRMBEDR (pis s Pn) FoR MR OR ) 4 0 
5 Bp 
ACD s Pig s* > Piao Pos Pz s**t + Pm) = hCpi sts Pm) + Pihlan) C1. 2. 42) 
如 果 (gi1，…，g,) 是 另外 一 个 分 布 ， 也 就 是 说 ， 如 果 一 个 不 确定 事件 (概率 为 加 ) 被 分 割 为 
条 件 概 率 为 (qi ，*…，g,) 的 子 事件 ， 根 据 上 式 知 总 的 不 确定 性 被 附加 地 分 割 了 。 假 定 函 数 
在 它 的 参数 上 是 对 称 的 ， 因 此 当 随 机 事件 2，3，…，m 被 分 割 时 也 可 得 到 类 似 的 关系 。 
BAK Fm): 三 h(1/m，…，1/m) 关 于 m 是 单调 递增 的 。 证 明 ， 作 为 式 (1. 2. 42) 
的 结论 ， 可 得 下 (m*) 二 kKF(m)， 同 时 对 一 些 常数 c， 有 FF(m) 二 clogm。 因 此 证 明 有 
A(Pis***+ Pm) =— c Xp; logh; (1. 2. 43) 


假定 p 是 有 理 数 。 在 满足 连续 性 假定 的 条 件 下 ， 式 (1. 2.43) 对 于 任意 集合 { 方 } 都 是 正确 的 。 
(b) HMA —PABM BR FHT, MEE km, wR—-PMA BRA MBM 
h(pi Fe, Dad -r ACpi 十 ii + pr s Piri 9 Pa) 


pi Pi 
To Oy) fe. Se a 1. 2. 44 
VA aia oe eyecare eer arr oe 
hQ1/2, 1/2)=1 且 当 pE[0, 1], hlp, 1p) Atk BK, PAA 
h(p, relies Ep, i, >) pj logs; 


Ca) 由 式 (1. 2.42) 可 知 ， 对 于 函数 Fm) =hA/m, =, 1/m), 我 们 得 到 如 下 的 恒等式 : 


FOP) = h(x Fey x Dy Tee) 
m m m m m m 
pe ihe 
=h( soa rat tag hm) 





归纳 假设 FOn*')=(k—-1) Fm), WA 
Tey k er Rs Oe es a ee eee 
m = h(x Se a rl’ ae? 二 





三 n( Js ee )+ PE Cm) = (k—1)F(m) + F(m) = kF (m) 
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现在 ， 对 于 给 定 的 正 实数 5 二 2，m， 可 以 找 出 一 个 正 整 数 n 满足 KK, th dE 
由 上 
m m m 

利用 下 Cm) 的 单调 性 ， 可 以 得 到 nF(2) 才 mF(6) 过 (mn 十 1)F(2), 或 者 











n F(b) n 1 
m < F(2) Sh ji m 
; br toe ea: "a Ps z 
可 以 推出 如 下 式 子 |logzb FO < 然后 令 m>, F(b)=clogb Hc=F(2). 
现在 取 有 理 数 p=, p=, GB MER 
i =n (2 x Py Thy ETE Te) AEC) 
* r r ri T | i T F 





1 1 ; 
=a( miss oa > logr, 


= clogr—c » 到 logr， =—¢ >] “log A 


1<i<m 1<i<m 


(b) 对 于 第 二 个 定义 ， 关 键 点 是 不 需要 假定 函数 Fn) =hC/m, =, 1/m)fEBR m 
上 的 单调 性 。 同 样 ， 通 过 利用 式 (1. 2. 44)， 可 以 很 容易 得 出 可 加 性 
F(mn) = F(m) + F(n) 
上 式 对 任意 正 整 数 m, n 都 成 立 。 因 此 ， 对 于 一 个 规范 素数 分 解 mage gs, FAA 
Fm) = a Fla) ++ +a.F (q,) 








接 下 来 ， 我 们 证 明 
Fm) _, 0, F(m) — Fon—1) -0 (1. 2. 45) 
其 中 m—co, FXE 
esi Fish esta tae, gece ale el 
Fn) = hhz = Al A ia = es | 


即 





h(t)= rom) 一 于 一 FPCm 一 1 
m m m 
利用 h(p，1 一 p) 的 连续 性 和 对 称 性 可 得 
lima (> ,2—*) = h(O,1) = h(1,0) 
但 是 从 
ae Led 1 
和 (又 一 次 利用 对 称 性 ) 
toa vi it 
h(r710)= h(0- oy) = 1,0) +h(Z>z) 
RTF AQ, 0=0,. Ake 
1 





lim ( F(m) — 


moo 


F(m 1))=0 (1. 2. 46) 
下 一 步 ， 可 以 写 出 下 式 
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mF (m) = D4 (FO — “PFC 一 D) 
k=1 
或 者 ， 可 以 恒 等 变 形 如 下 式 
Fim) » m+ 1 Sebi = 
Fem) 一 mit ey Sa (Fee Fk D)| 


其 中 方 括 号 中 的 式 子 是 序列 的 mm 十 1)/2 项 的 算术 平均 值 
F(1),F(2)— FANE — FQ), F(3) — 2 FQ) FQ) — Z FO), 


FO) — ÊF), SFG) =— Fk — 1D), ; 


F(R) -ÉF R= Dye 
上 述 序列 趋 于 0。 因 此， 其 最 终 值 为 0 H FCm)/m->0。 与 此 同时 ， 


F(m) — Fm —1) = (Flm) —™—4F Gn —1)) FG 1-0 


式 (1. 2. 46) 成 立 。 现 在 定义 下 式 





FCm) 
logm 


并 证 明 c(m) 是 常量 。 我 们 只 需 证 明 对 于 任意 素数 p，c(p) 是 常量 成 立即 可 。 首 先 ， 我 们 来 
证 明 序 列 (c(p)) 是 有 界 的 。 事 实 上 ,根据 上 述 推 导 假 设 序号 c(p) 是 无 界 的 。 然 后 ， 可 以 
找 出 一 个 无 穷 的 素数 序列 Pi, Pos ts Poo ots HEP p, BRR, Bp, >p E c(p,)> 
c(Cp 1)。 通 过 构造 这 样 的 序列 ， 如 果 一 个 素数 g 二 p,， 就 可 以 得 到 clqd<clp,). 

考虑 到 把 数 p, 一 1 二 qh …q: ， 其 中 qi 二 2， 通 过 标准 分 解 为 质 因子 。 我 们 将 差 值 F(p,) 一 
FR(p 一 1) 写 成 如 下 式 子 


c(m) = 











1. Ets). bs Pn em 
ae logp, ~ 为。 一 1 & i (cCp,) — c(q;)) logg; 
通过 上 面 的 推导 得 到 


Dyas Cpa) —c(q;))logg; > (c(p,) — c(2))log2 = (c(p,) —c(2)) (1. 2.47) 





而 且 ， 随 着 lim i 通过 式 (1. 2.46) 和 式 (1.2.47) 可 得 c(p,) —c(D< 


0, RA c(p) 的 构建 相 了 矛盾 。 因 此 ， 可 知 c(p) 有 上 界 。 同 样 地 ， 我 们 也 可 得 到 c(p) 有 下 
Fo MEH, 通过 上 述 证 明 ， 可 以 得 到 sup,c(p), inf,c(p). 

现在 假设 c(h)=sup,c(p)>c(2),. RE—-PERBR m, 分解 为 质 因子 名 一 1 二 gh… 
gr, HH q =2, BERERA Ho Bieta F(p")—FCb"-DH 











— Ee) 5. op" 一 
加 log pr Oe ait Yas eB) e(a) loge; 











re "+ (e(B) — e(2)) 
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同时 取 极限 ->ce 会 得 到 c(P) 一 c(2) 寺 0， 这 会 得 出 一 个 矛盾 的 结论 。 同 样 ， 我 们 可 以 证 明 inf,c 
(p)=c(2). Bilt, c(p)=c 是 个 常数 ， 且 Fin) 二 clogm。 根据 条 件 FC2) 一 h (去 ， 去 )=1， 
我 们 得 到 c==1。 最 后 ， 就 像 在 (a) 中 表述 的 ， 我们 可 以 得 到 


h lpi spa) =; > pilogp: él. B 48) 
i=} 


对 任意 有 理 数 pis os pe DOH 》)p, 一 1 都 成 立 。 利 用 连续 性 ， 式 (1. 2. 48) 可 以 推广 到 


无 理 数 概率 的 情景 。 回 
举例 1.2.26 证 明和 更 均匀 的 分 布 可 以 得 到 更 大 的 精 。 这 就 是 说 ， 在 集合 {1，…，7?2)} 上 有 
Pp 二 (Pi，*…，p,) 和 gg 二 (qi，**，9,) 两 个 概率 分 布 ， 如 果 按 递减 顺序 重新 排列 值 pl ，…， 
Pn Fe gis weiss Ont 





Bi Pes Gs SS a 


有 


> Pi < Sagi 太一 -3 和 
i=1 i=1 
则 称 p tog PAR RIYA (p<q, 参见 文献 [108]) 。 
可 以 得 到 
hip >h., %px<xqh 
解答 ”我 们 将 概率 分 布 p 和 4g 写成 离散 变量 的 非 递增 函数 。 
p~ p”? > > pp” >0.q~ q? 三 … Sq” >0, 其 中 She Zz rigs = 


假如 pAq, WAER i, i WEDII SKi Sn; bg >p Sp  >q; (dq? S 
p? , HP l<si<i,, gP? <À, H iSi, WA psa 成 立 。 

现在 在 s 中 应 用 归纳 法 ， 其 中 :是 满足 g” 关 
pp 值 i 的 数目 ， 其 中 i 二 1，…，n。 如 果 s=0, 
可 得 p= 二 g AWwi— Rh. MHAABRA s 的 值 每 
次 增加 1。 如 上 取 一 对 数 记 ,i,。。 增 加 g** ， 减 少 
gq" ， 因 此 dg’? +g? 的 和 保持 不 变 ， 一 直到 gq 
达到 pv MH qe? 达到 p CAA 1-7)。 人 性 质 (c) 
保证 修改 后 的 分 布 pq。 因 为 函数 < 一 7(Cz) = 
一 zlogz 一 (1 一 z)log(1 一 z) 在 [0，172] 上 严格 递 图 17 
增 。 因 此 ， 修改 后 的 分 布 的 炉 也 是 严格 递增 的 。 在 这 个 过 程 的 最 后 减 小 ;s。 然 后 我 们 使 用 
归纳 假设 方法 即 可 证 明 。 


1.3 Shannon 第 一 编码 定理 ，Markov fa ie AY Hi E 
信 源 的 信息 速率 的 一 个 有 用 的 意义 是 ， 它 表明 样本 字符 串 传 输 的 最 小 增长 速率 渐 近 地 
接近 全 概率 。 
引 理 1.3.1 令 事 为 一 个 信 源 ( 见 式 (1.1.20)) 的 信息 速率 。 定 义 
D,(R): = max[PU” € A):ACI",#A<2"] (1. 3.1) 
Manco, TEE >00, A 
limD,(H+e)=1, H#H>0,D,(H—«)+1 1.3.2) 
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证 明 通过 定义 可 知 ，R: 三 及 十 e 是 一 个 可 靠 的 编码 率 。 因 此 ， 存 在 一 个 集合 ACI 
AFR I, BZ neo, A #A,<2", PU” EA,)>1, A® D,(RI>PCU™ E A,),， 故 
D,CR)—1, 

现在 假设 H>0, $ R; =H—e; 其 中 当 e 足 够 小 时 ， 有 尺 之 0。 然 而 ， 尺 不 是 一 个 可 
靠 速 率 。 也 就 是 说 不 存在 一 个 拥有 上 述 性 质 的 序列 A,。 取 一 个 集合 C,， 使 得 式 (1. 3. DM 


得 最 大 值 。 然 后 有 # C 委 2 ， 但 是 PC) l. 口 
给 定 一 个 字符 串 u” = 二 wl*……u,， 考 虑 到 它 的 每 个 信 源 字符 的 对 数 似 然 函 数 : 
& (am ) =— = log. pu sd Eps (1. 3. 3a) 
其 中 pu”): SPU” =u” ) 是 分 配给 字符 串 u? 的 概率 。 此 处 及 以 下 满足 ， 如 果 >00, 
则 log, xz=logz, 如 果 z=0， 则 它 的 值 为 0。 对 于 一 个 随机 字符 串 ， U” =u, py Ung 有 
6) =— L log; p, (U®) (1. 3. 3b) 
是 一 个 随机 变量 。 

引 理 1.3.2 FAH R, e>0 

P(e < RSDR < Rs =< Re) 4-27" (1.354) 


证 明 为 了 简便 ， 在 符号 uw” 和 U” 中 省 略 上 标 (n)。 令 
B= (ee Fp.) Sey 
= {u € I; — logp, (u) < mR} 
= (u € P” ;&, u) < R} 
那么 
1>PU EB) = >)p,.u) S2" HB, Ht +B, <2" 


ue Ba 


因此 ， 
D,(R) = max[P(U E A,):A, CP", #A< 2" ]> PW E€ B,) = PE, <R) 
xK(1. 3. 4) LHS 得 证 。 
另 一 方面 ， 存 在 一 个 集合 C, 导 1*" 使 得 式 (1. 3.1) 取 到 最 大 值 。 对 于 这 样 一 个 集合 ， 
D,R 二 PC(UEC,) 可 以 分 解 为 如 下 式 : 
D,(R) = PW € CR 过 Re 十 PIOE C, >R+e) 


< P(é,< R+e)+ > ) (w1(p, (a) < RHO ) 
“EC, 


< KES RTE F TeC, 
= PCE, al R + ¢) "9m Rte) om 


= P(é, <<R+e)+2™ a 
定义 1.3.3 (参见 PSE Il, 367 页 ) 对 于 所 有 的 eo, mz 
limPC| m —r|2>e) = 0 (1. 3..5) 


MBENE py) EFA RCE Wc FH r. 

在 这 个 定义 中 ， 令 一 个 随机 变量 7 替换 >， 我 们 获得 了 一 个 更 加 一 般 的 依 概率 收敛 于 
某 个 随机 变量 的 定义 。 

依 概 率 收 剑 以 后 表示 为 p —> rI p 一 > 


备注 1.3.4 依 概 率 收敛 (到 一 个 期 望 值 ) 恰 恰 在 大 数 定理 中 占据 重要 位 置 (参见 下 面 的 
式 (1. 3.8))。 见 PSE I，78 页 。 
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定理 1.3.5 (Shannon 第 一 编码 定理 (FECT)) 如 果 乌 RAMBLAS HRY, ®BAyY=H, H 
为 信 源 的 信息 速率 。 


证 明 令 避 一 ~y， 由 于 ESO, y>0, 根据 引 理 1.3.2， 对 任意 的 e>0， 有 
DATO > P(e, ye > My—e <6, ye 
= P(\&—y|<e) =1—-PC\&—-yl>e) ~ 1(n— œ) 
Rik, H<y. $I, WR y=0, BRA H=0, WR y>0, REIA 1. 3. 2， 我 们 再 次 得 到 
D,(y—©) < P(e, < y—e/2) +2 = < PCE, —y| Se/2) +27" 一 0 


根据 引 理 1.3.1, H>y. Auk. H=y. 口 
备注 1.3.6 (a) 6 -二 -7 一 互 的 收 敏 性 等 价 于 下 述 的 渐 近 均 分 性 ， 对 任意 的 e 之 0， 

lim PCa Pe ee Pr eae sy (133: 6D 
事实 上 ， 


PQ = pa U) z gat H-a) = P(H—e <— = logp, (U™ ) a H+e) 


= P(\é, -H|<e) =1—P(\é,-—H|>e) 

换言之 ， 对 任意 的 e>0, RAE m=me), HEMMER n>n, BA T" 可 分 解 为 不 相 
WFR, MT. WE 

G) PU EM) <e. 

(ii) 对 任意 的 a” ET,, 2 RD POL 

具体 而 言 ，T, Æ “RU” HFE, mM, 是 剩余 集合 。 可 以 认为 ， 对 于 具有 渐 近 均 
分 性 的 信 源 ， 用 等 长 的 码 字 来 编码 典型 字符 串 是 值得 的 ， 而 剩余 部 分 则 没 必 要 考虑 。 于 
是 ， 可 以 得 出 有 效 编码 速率 为 也 十 o(1) 比 特 / 信 源 符号 ， 而 信 源 速率 为 logm 比特 / 信 源 
符号 。 

(b) 注意 到 


Ey (n) (n) = pu (n) 
Eê, Dy Pau )log (u™ ) = —h (1. 3.7) 


最 简单 ( 且 最 有 启发 性 ) 的 信 源 例子 为 Bernoulli 信 源 。 
定理 Tdi iF 对 于 一 个 Bernoulli 信 源 Ui , U: pree PU; =x) = P(x), 有 


H =- > p (@)logp(x) 
证 明 对 于 一 个 IID 序列 Ui 9 Uz,» aa) 其 字符 串 的 概率 为 
pau?) = [[ puu” = urn, 


因此 , —logp, Cu) = >) — logpcu;) > Ho=—logp(U;), i=1, 2, =, Wo, oz，… 形 成 了 


一 个 TID 随机 变量 的 序列 。 对 于 一 个 随机 字符 串 U” =U;..U,, —logp, U= > a， 其 中 
随机 变量 o; = —logp(U; W A IID. 
EPR, HE = ee! 。 注 意 到 Eo, =— 2p G)logpG) =h H 


1 n 1 n n 
Eg, = e(a) Be: = = ae Ls, 
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最 后 的 等 式 和 式 (1. 3.7) 一 致 ， 即 对 于 Bernoulli 信 源 ，h'” 二 nh( 参 见 式 (1. 1.18))， 因 此 ， 


Ee, 二 h。 根据 大 数 定 理 ， 我 们 立即 得 出 & 一 wh。 于 是 根据 定理 1. 3. 5(FCT) 有 H=h, O 
定理 1.3.8 (IID 随机 变量 的 大 数 定理 ) 对 任意 方差 有 限 且 均 值 为 Br; 二 7 的 ID 随机 变量 
mi 123 +++ ZH me 89 FPF , 对 任意 的 e>0, 有 





limP(|1 >)n—r| Se)=0 (1. 3. 8) 
RAR i=l 
证 明 ”定理 1. 3.8 的 证 明基 于 著名 的 Chebyshev 不 等 式 ， 参 见 PSE I, 368 页 。 口 


引 理 1. 3.9 对 任意 随机 变量 7 和 任意 的 E 二 0， 有 
P) 之 e) < ZE 


证 明 参见 PSEI，75 页 。 口 
接 下 来 ， 考 虑 Markov 信 源 Di Uzr ，…， 其 中 码 字符 号 取 自 符号 集 I,={1, ++, m}. 
假定 转移 矩阵 Plu, v) (或 其 功率 ) 服 从 
minP (u,v) =p>0, 对 某 些 > 之 1 (1. 3. 9) 
这 个 条 件 说 明 DTMC 是 不 可 约 和 非 周 期 的 。 于 是 (参见 PSE N, 71 页 )DTMC 有 一 个 唯一 
的 不 变 ( 平 衡 ) 分 布 r(1) +, (m): 


0< xu) <1, X r) 一 1,r(o) = X ru) Plu,v) (1. 3. 10) 
u=1 u=] 


同时 nn 步 转移 概率 P Cu, VAF x(v)， 且 对 所 有 初始 分 布 {ACw),，uE€T}，GQP”)(v) 王 
PU,=v): 


limP” (u,v) = limP(U, = v) = lim JJA W) P (u,v) = lv) (1.3.11) 


此 外 ， 式 (1. 3. 11) 的 收敛 速度 呈 指 数 ( 几 何 指数 ) 增 长 。 
定理 1.3. 10 假设 r= 二 1 时， 条 件 (1,3.9) 仍 满足 ， 则 DTMC Ul,，,，U,，… 有 一 个 唯一 的 不 
变 分 布 (1. 3. 10) ， 且 对 任意 的 wx，VwET 和 任意 的 工 中 的 初始 分 布 1， 有 
|P (u,v) —x(v) |< 1 —p)” # | PO = 0) —x(v) |< —p)"" 
CLS. T122 
在 rS1 的 情形 下 ， 我 们 将 式 (1. 3. 12) 的 右 端的 (1 一 p)" Fe —p)” ERA Ap fo 
Gpe», 
证 明 参见 举例 1.3.13. 口 
ME., 我们 引入 Markov 信 源 的 信息 速率 A. 
定理 1. 3. 11 对 于 一 个 Markov 信 源 ， 在 条 件 (1.3.9) 下 有 ， 


H =— 2) rw) P(u,v)logP(u,v) = lim AU |U,) (1.3.13) 
如 果 信 源 是 稳定 的 ， 则 Hh Uys |U,)。 
证 明 参见 式 (1.3.3b), 我 们 再 次 使 用 Shannon FCT 来 验证 >H, Heb H h 
ACL. 3.13) 定 义 且 名 = 一 二 logp,(U”)。 换 言 之 ， 条件 (1. 3.9) 说 明了 Markov 信 源 的 渐 近 


均 分 性 。 
Markov 特性 意味 着 对 任意 的 字符 串 u” Su eu, A 
pau”) = Alur) PCy wa) Plu su) (1. 3. 14a) 
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从 而 一 logp,(u””) 可 以 写 为 求 和 的 形式 ， 


— logaCu,) — logP(u, ww — ++ — logP(u,-1 sta) (1. 3. 14b) 
对 于 一 个 任意 字符 串 U” = 二 Ui…U,， 随 机 变量 一 logp,《(U”) 有 类 似 的 形式 ， 
loga(U, ) p logP(U, »U,) Ee logP(U, i A BS CIS, 45) 
在 信 源 为 Bernoulli 信 源 的 情况 下 ， 可 以 导出 
aiU: =— loga(U,).6,(U-4 U,); =— logP(U; .U;) ,i > 2 (1. 3. 16) 
假设 
an 
Cae Llai + Don) €1./3 5279 
i=] 
则 o 的 期 望 值 为 
Eo; 一 一 >)A(u)loga(u) (1. 3. 18a) 
328. AF PU, =v) =P (vw) 二 S ACW PO? Cu, v), WU 
Eo i = > PU; = uy Uy = u')logP(u,u') 
vi (1. 3. 18b) 
=— PAP Nu) Plu, u' JlogPlusu ) i = 1 
定理 1. 3. 10 WHH limEs=H, Alt 
ww dae 
TAE FP 
P 
AE, —H 的 收敛 性 符合 大 数 定律 ， 对 于 (cj) 序 列 ， 有 
limp( |+ 530: — H| >e)=0 (1. 3. 19) 
a mi) 


然而 ， 这 种 情形 并 没有 Bernoulli 信 源 中 的 情形 那么 简单 。 有 两 个 需要 克服 的 难点 : GR 
有 当 i>co 时 ， 了 ci; PFH; (ido, oa ，… 不 再 相互 独立 。 在 更 坏 的 情形 下 ， 它 们 甚至 不 
能 构成 DT MC 或 是 高 阶 的 Markov 链 。 (CAERA U, Uz, HR k AY DIMC， 如 果 
对 于 所 有 的 n=l, A 
PU nie Su Une = taste Un = ua) 
= PU nmen = u' |U mx = us Una = u) 
显然 ， 在 一 个 上 阶 的 DTMC 中 ， HME U,=U,» Uassa Ue > mel 构成 了 一 个 普 
通 的 DTMC。) 某 种 意义 上 ， 序 列 m ，o ， 光 的 “记忆 ”无 限 长 。 然 而 ， 它 呈 指 数 衰减 ， 其 
准确 的 含义 在 举例 1. 3. 14 中 给 出 。 
总 之 ， 通 过 使 用 Chebyshev 不 等 式 ， 我 们 得 到 


P( tann] >e) < oR Dm) (1. 3. 20) 


引 理 1.3.12 和 定理 1.3.11 如 下 。 口 
引 理 1.3.12 式 (1. 3. 20) 的 右 端的 期 望 满足 边界 条 件 





E( >\(:—H))’ < Cn (155.21) 
i=1 


EP, C0 为 一 个 不 依赖 于 nn 的 常量 。 
证 明 参见 举例 1. 3. 14。 E 
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根据 式 (1. 3. 21) ， 可 以 推出 式 (1. 3. 20) 的 右 端 不 大 于 .所 且 随 着 noo 趋 于 0。 


举例 1. 3. 13 证明 如 下 边界 条 件 ( 参 见 式 (1. 3. 12)): 

|P (u,v) —x(v) |< Ao (Wa.30 22) 
证 明 (4 PSE I, 72 页 相 比 ) 首 先 ， 注 意 到 式 (1. 3. 12) 揭 示 了 定理 1. 3.10 和 式 (1.3. 10) 
的 第 二 个 边界 。 实 际 上 ， 将 fr(z) 看 成 是 极限 


limP® (u,v) = lim X P (u, DPE, = Six) PCH,v) (1.3. 23) 
SATEEN TSEC. 310, WRO), ，x'(2)，…xCza) 是 另 一 个 不 变 概率 向 量 ， 即 
0 委 r (ww <1, Se 二 二 x'w) = >)x'(u) Puy») 
则 对 于 所 有 的 n=l, A r Co) = (uy P® Cu, oX 4 ,co 时 其 极限 为 
x'(v) = Dyr GD limP (u,v) = Dr (Wro) = rlo) 


即 不 变 概 率 向 量 是 唯一 的 。 
为 了 证 明 式 (1. 3.22)， 设 


m,(v) = min P™ (u,v), M,(v) = maxP™ (u,v) @.3224) 
PES 
mear Cv) =minP“” (u,v) = min Y) Plu, tP (Tv) 
> min P (uso) >) Pu, a) = m,(v) 
类 似 地 ， 


二 和 max >)P(u,%)P” (%,v) 


< max P (u,v) X Pu, T) = M, C) 


由 于 O<m,(v) <M, <1, m, A M, Co) 都 存在 极限 
mlv) = lim m, (v) < lim M,(v) = Mw) 
进一步 将 M(v) 一 m(v) 的 差 写 为 极限 的 形式 
lim(M, (v) — m,(v)) = lim max(P™ (u,v) — P” (u'.v)) 


所 以 ， 若 能 证 明 
max|P (as0) —P™ (xe' | (1 —o)* C1. 3. 25) 


uu U 


则 对 于 任意 v 有 M(v)= 二 mx(v)。 此 外 ， 用 x(v) 来 表示 Mo =m hA E, BE 
| P™ (u,v) —x(v) |< MC — m,(v) < (1 — pp)" 
为 了 证 明 式 (1. 3. 25)， 考 虑 一 个 IXIA DTMC, (uy, zs) 为 状态 ,转移 概 率 如 下 
PCy s0) P Cüz, tj) uy Æ uz 
Paaa =| Pl(uysv), u = u = uju = v =v 
04 2 = u and u 50; 

C826 
BWI, Pa, w), Cy, DXR EE— A mM Xm 的 转移 概率 矩阵。 如 果 u 二 ww 二 w， 则 
SPCC su) Co 02)) = SP (u,v) =] 


yee 
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Gt Etta 则 
2s PCC ua)» Cosi) N = m= TM = 1 


(BERK OSP Cu, u), (ur, DLI TARA. 3. 26) 直 接 得 到 。 ) 

这 就 是 所 谓 的 TIX 工 的 耦合 DTMC， 用 (V,,，W) 来 表示 ， 其 中 n 宇 1。 注 意 到 元 素 V, 
AW, 都 是 转移 概率 为 P(uw，v) 的 DTMC。 更 准确 地 说 ， TRV, MW, 独立 地 移动 ， 直 到 
它们 第 一 次 在 随机 时 间 = 时 相遇 ， 将 该 时 间 称 之 为 耦合 时 间 。 经 过 rz 时 间 后 ，V。 AW, 
“ 合 在 一 块 ”同步 移动 ， 其 转移 概率 仍 为 P(u，w)。 

假设 我 们 从 状态 (xz，x) 开 始 该 耦合 链 ， 则 

|P™ (u,v — P™ (u',v) | 
= | PCV, = v|Vi = u,W, = u) — PCW, = v|Vi = uo Wi =u) | 
(由 于 CV,，W,) 中 的 每 个 元 素 以 相同 的 转移 概率 移动 .) 
= |PV o= wW A u| Vi = WW = u') — PCV, 4 v.W, = v|V; =u.W, = u')| 
< PV, AW, |V; ww =u) = Mr >nl|V, = uW =u’) (1.3.27) 
现在 ， 概 率 服 从 
Pr = 1|V =a Wi =u’) > >) P(usv) Pn > p >) P(u',v) = p 


即 互补 概率 满足 





Pir>1|Vi = ths Wy = ie Se E 


由 于 耦合 链 的 强 Markov 性 质 ， 
Pir > n|Vi = Wi = u') < (1 —p)" (1. 3. 28) 
边界 (1. 3. 28) 和 边界 (1. 3. 27) 共 同 说 明了 式 (1.3. 25), 口 
举例 1. 3. 14 在 满足 式 (1, 3.9) 且 7 二 1 的 条 件 下 ， 证明 如 下 边界 : 
| EL Co; — H) Cons — M] |< (H+ |logo)? (1—p)™ (1. 3. 29) 


证 明 简单 起 见 ， 假 设 >l; i=l 的 情形 仅 需要 少量 改动 。 回 顾 随机 变量 >, i> 1 的 定 
义 ， 得 到 
El (6; ~H) lom — HY] = SY PU: = aU = u Un = Uae = 0) 


X (— logP(u,u') — H)(— logP(v,v') — H) (1.3.30) 
我 们 的 目标 是 将 该 表达 式 和 下 述 表达 式 相 比较 


>) >) AP) (a) PCa, u')[— logP(u,u') — H] 
usu’ we Cl; a 31) 


X x(v) P(v,v')[— logP(v.v') — H] 
注意 到 ， 根 据 H 在 式 (1. 3. 13) 中 的 定义 ， 求 和 > 收敛 ， 于 是 式 (1. 3. 31) 收 敛 。 


求 和 (1; 3.30) 和 (1. 3. 31) 的 不 同 在 于 ， 概 率 
PU, Su Un = e Ua, = 0 Usa = 0) = QP Pu Pe (u' rv Po, 0') 
All 
(AP**) (wa) Pusu’) x(v) Pv, 0') 
并 不 一 致 。 然 而 ， 这 些 概率 的 差 的 绝对 值 满足 如 下 边界 
|P* (u',v) — ro) |< a TO 
HF |—logP(-, -)—H|<H+ |logo|, 我 们 得 到 式 (1. 3.29), 口 
定理 1. 3. 11 的 证 明 是 为 了 证 明 式 (1. 3.21), 平方 展开 ， 利 用 期 望 的 可 加 性 ， 可 得 
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E(X (:—H)) = >) Eo — H+2 >) EL — Ho — H)] (1.3.32) 
i=1 l1<i<n 


l<i<j<n 


式 (1.3.32) 中 的 第 一 个 求 和 比较 容易 ， 该 和 包含 了 7 个 劝 (c; 一 互 ): ， 其 中 每 个 以 常量 为 界 
( 设 C 为 ( 互 十 |logo|)2) 。 因 此 ， 该 求 和 最 多 为 C'n。 第 二 个 求 和 有 困难 ， 它 包含 了 n(n 一 
1)/2 个 元 素 ， 我 们 将 其 限制 范围 如 下 : 


| by E[(o,— H) Co; — H)]| < PUSR — Hon DJI) (1. 3. 33) 
i=1 k=] 


l<i<j<n 


通过 使 用 式 (1. 3. 29) 便 完成 了 证 明 。 

He PK AY ce BEL TE TE oT PO REA; 参见 PSE I, 82 页 。 
定理 1.3.15 设 癌 多，… 为 ID 随机 变量 序列 ， 其 取 值 为 0 或 1 的 概率 分 别 为 1 一 方 和 
p, O<p<l, MATES ERK PIL, MH n>, k, >o n 一 一 oo， 有 


P( D6 = k,)~ (2nnp* (1 — p*)) exp(— nD( || p")) (1. 3. 34) 
i=] 


其 中 ，~ 表 示 随 着 刀 *co， 去 式 和 右 式 的 比值 趋 于 1。 P= pL RARE, Dll p) 


AAA HH AXIY, 其 中 羡 服 从 分 布 5;( 取 值 为 0 或 1 的 概率 分 别 为 1 一 p 和 pp),，Y 取 
相同 的 值 且 概 率 分 别 为 1 一 p" 和 pp*。 
证 明 使 用 Stirling 公式 (参考 PSE I，72 H); 


nl /2xnn"e" 0113885) 
(实际 上 ， 该 公式 有 一 个 更 准确 的 形式 ,nl = Vam", Ep a<. 


但 对 于 我 们 的 目的 来 说 式 (1. 3.35) 已 足够 .) 于 是 ， 式 (1. 3. 34) 的 左 端的 概率 为 (简单 起 见 ， 
k, 的 下 标 n B) 


A ep hacks į 1/2 n” uO 
oe ates eon) eco > 
= (2nnp* (1— p* )) P X exp[— klnk/n — (n— k) n(n — k)/n+ klnp + (n— k) In — p)] 


但 是 最 后 一 个 公式 的 右 端 和 式 (1. 3. 34) 的 右 端 相 一 致 。 o 
如 果 p* 接近 于 p， 我 们 可 以 得 到 

Diplo) = Op |, e d 

由 于 Dp Py = (gel) ,一 0， 我 们 立即 可 以 得 到 以 下 推论 。 


推论 1. 3. 16 (局 部 De Moivre-Laplace 定理 ; 参见 PSE I, 81 页 ) 如 果 n(p* —p)=k, —np= 
oln), IA 

P(275 =k,)~ es aon is — p)*) (1. 3.37) 
举例 1.3.17 每 个 单位 时 间 内 ， 一 台 设 备 读 取 有 N 个 字符 的 字符 串 序 列 的 当前 版 本 ， 
字符 事 中 只 有 0 或 1。 然 后 发 送 字 符 串 中 字符 1 的 个 数 。 在 每 次 读 取 之 前 字符 串 都 会 被 
重新 打 乱 (从 0 变 到 1 或 者 从 1 变 到 0， 每 个 字符 等 概率 变化 )。 求 这 个 信 源 的 信息 速率 
解答 信 源 是 Markov 信 源 ， 状态 空间 为 {0， L, =, N}, IE RE ME 
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0 1 0 0 os vague) 0 
1/N 0 (N—1)/N 0 a 1) 0 
0 2/N 0 (N = 2)/N 0 0 
0 0 0 0 e. 0 1/N 
0 0 0 0 从 证 和 | 0 





该 DTMC 是 不 可 约 并 且 是 周期 的 。 它 拥有 一 个 唯一 的 不 变 分 布 


人 


根据 定理 1. 3. 11 
— 1=N 1 N 
H => LaPa PD = 2 DAN jlog > 口 
举例 1. 3. 18 一 个 平稳 信 源 发 送 符号 0, 1, =, mC D4, m ÆR), DTMC 的 传输 概 
BA Pa=P U1 =U, 二 过 这 


pits = 1/3,0 <j Sm—2, pj = 1/3,2 Sj S 
by =1/3,25j<m Ai pa = Pa iei ~ Pim — P 
第 一 个 符号 的 分 布 是 等 概率 的 。 求 信 源 的 信息 速率 。 结 果 是 否 和 Shannon FCT WF A? 
如 果 m 是 奇数 的 话 ， 结 果 会 怎么 变化 ? 对 于 奇数 my， 怎么 使 用 Shannon FCT 来 得 到 
上 面 源 的 信息 速率 ? 
解答 MP m 是 偶数 的 情况 ，DTMC 是 可 约 的 : 有 两 种 互通 类 , 1.={0, 2, +, m), 4 





有 m/2 十 1 AURA I 一 (1， ay Pg Wr ys 共有 m/ 2 个 状态 。 
相对 地 ， 对 于 任意 长 字符 申 的 A, 集合 ， 
P(A,) = qP An) 十 (1 一 g BA) C113: 38) 


其 中 An SA, NL, An=A, Nh: B 指 的 是 在 1; 中 的 DTMC, i=1, 2, q=PULE]). 
RA. 3. 3b) 中 的 随机 变量 是 与 一 一 二 logp,(U”); 根据 式 (1. 3. 38)， 


Ên = — logpn my, 概率 为 q 








i (1. 3. 39) 
= — logba U) 概率 为 1 一 g 
DTMC 是 不 可 约 的 ， 并 且 在 其 互通 类 中 非 周 期 ， 它 们 的 不 变 分 布 是 均匀 分 布 : 
a 一 Ži E hor” = i € I, 
它们 的 信息 速率 是 相等 的 ， 分 别 是 : 
) 8 SB 
H® = log3 py H® = log3 an (1. 3. 40) 
根据 式 (1. 3.38), HES DTMC 的 信息 速率 等 于 : 
CE H® ,H® ; 0 = 
rata iad agi: baie atest (1.3. 41) 


H®, g=0 
对 于 O<q<1, ShannonFCT 是 不 适用 的 : 


Pi P 
— logpn (U™) H” a 但 是 — Flogp.. U ) nan H”? 
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也 就 是 E 收敛 到 一 个 非常 数 的 极限 。 然 而 ， 如 果 gq(1 一 gq)， 那 么 式 (1. 3. 41) 减 少 到 一 个 单 
行 ， 并 且 ShannonFCT 是 可 以 使 用 的 : & 收敛 到 一 个 对 应 的 常数 互 2。 

WR m 是 奇数 ， 那 么 也 同样 有 两 个 互通 类 , TL ={0, 2, +, m—1}SMT,={1, 3, "s, 
m) ,每 一 个 都 含有 (Cm 十 1)/2 个 状态 ， 就 像 之 前 的 DTMCP 和 P, 是 不 可 约 的 以 及 非 周期 的 ， 
并 且 不 变 分 布 是 均匀 分 布 : 


rE lh, a iEn 
它们 的 通用 信息 率 等 于 
Hu. = gs TT (1. 3. 42) 
同样 给 出 了 整个 DTMC 的 信息 率 。 它 与 Shannon 的 FCT 契合 ， 因 为 现在 
& 一 一 二 logp, (U™ ) ee H oaa (1. 3. 43) 
Oo 


举例 1.3.19 设 a 是 符号 集 A 的 大 小 , 5 是 符号 集 B 的 大 小 。 从 符号 集 A 十 B 中 选中 一 个 
符号 源 ， 并 且 假 定 没有 两 个 出 自 于 A 的 符号 连续 出 现 。 

(a) 假定 一 个 信息 符合 DTMC， 所 有 被 允许 在 指定 位 置 出 现 的 字符 等 可 能 出 现 ， 证 明 
这 个 源 的 信息 率 是 : 

H = lgb t (a+ b)log(a + 6) 
2a +b 

(b) 通过 解决 一 个 递归 关系 ， 或 相反 地 ， 求 出 多 少 个 长 度 为 于 的 字符 串 满足 没有 两 个 出 
自 于 A 的 字母 连续 出 现 的 约束 。 假 定 这 些 字 符 串 是 等 可 能 并 且 2->co， 证 明 极 限 信息 率 
变 为 : 


(1. 3. 44) 


H= log(Ż E ve + tah ) 





为 什么 答案 会 不 同 ? 
解答 (a) DTMC 的 传输 概率 通过 下 面 的 式 子 给 定 : 


0， zy E Aly-* sa} 
ree = {ih zE (Isay E lat lat b) 
1/(a+b), x € {a+1l, =a +b}y E {l,a +5} 
这 个 链 是 不 可 约 且 非 周期 的 ， 并 且 满 足 minP2 (z，y) 二 0; 所 以 ， 不 变 分 布 : n= (x(x)， 
zE(t1，…，a 十 b)) 是 唯一 的 。 我 们 可 以 从 详细 平衡 方程 (DBE)r(z)PCz，y) 王 工 (y) 
P(y，z) (参见 PSE Il, 82 页 ) 中 找到 x, Hep 
1/ (2a +b), rE {1,°,a} 
(a+b)/Lb(2a+6)], x € latl, a+b} 
DBE 意味 着 元 是 一 个 不 变量 ，r(y) 一 X x(x) Plz, y)， 但 是 反之 就 不 成 立 ， 所 以 我 们 


可 以 得 到 式 (1. 3. 44) 。 

(b) 设 M, 为 符合 约束 的 长 度 为 n 的 字符 串 数量 ，A, 是 符合 约束 且 结 尾 字母 来 源 于 及 
的 nn 长 字符 串 的 数量 ，B, 是 符合 约束 且 最 后 结尾 字母 来 源 于 B 的 n 长 字符 串 的 数量 ， 
那么 


mx) = | 


M, = AS = B, Ag == dB Be = b(A, + B,) 
即 得 
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Br = 6B, PUB 














最 后 的 迭代 可 以 通过 下 式 解 决 : 
有 
0 ab 
其 中 ). 是 生 阵 | 的 特征 值 ， 
= b+ Jb’ + 4ab 
+ 7 
Ff H. ct 是 常数 ， Cee 所 以 
nl 
M, = aes AFH e aE +e atte ad =at (e (eA +E) +e, (at +1) 


二 logM, 可 以 被 表示 为 和 
1 a 1 
loga.+ —log (c- Gtd faan 
ee || <1。 所 以 ， 极 限 信息 率 等 于 
lim TlogM, = logas 
两 个 答案 之 所 以 不 同 ， 是 因为 条 件 均匀 分 布 导致 了 子 序 列 字母 间 的 强 依赖 关系 : 它们 没有 
形成 一 个 DTMC, 加 
举例 1.3.20 4{U;: 7 一 1，2，…} 是 一 个 不 可 约 且 非 周期 的 有 限 状 态 空间 的 DTMC。 给 
定 n 宇 1，aE(0，1)， 根据 它们 的 概率 (PC(U” =u” SPU” =u” ) Se) HHH SE 
u"” ， 并 且 按 排序 选择 它们 ， 直 到 剩余 集合 的 概率 三 1 一 a。 邻 M,(a) 表 示 选 中 字符 串 的 数 
量 。 证 明 信 源 的 信息 率 为 lim 二 M, @) =H. 
(a) 当 转 移 概 率 和 矩阵 P 的 行 都 相等 时 (也 就 是 说 {Uj;) 是 Bernoulli 序列 ) 。 


(b) 当 己 的 行 是 彼此 的 置换 ， 且 在 一 般 情 况 下 时 ， 评 估 这 个 结果 对 于 编码 理论 的 重 
要 性 。 


解答 (a) 令 正 表示 ID 序列 (U,) 的 概率 分 布 , H = 一 >) pjlogo, (ARM TC). ME 
j=l 
e>0 并 分 割 所 有 n FFE BASRA 1" = PASC ERR 
k oe {us pU”) S Qn H—e) } = ae = {u pu”) = gon Hte) \ 
All 
KH = Cu” Zee ai pu”) ce pote \ 


通过 大 数 定理 (或 者 渐 近 均 分 定理 )， 一 二 logP(U' MB] 了 (一 有 )， 也 就 是 limP(K; U 


K-) 二 0，limP(K) 一 1。 所 以 ， 为 了 使 概率 之 w， 对 于 足够 大 的 2， 在 (i) 中 不 能 局 限于 
+， 必须 从 中 取 字 符 串 ，(ii) 不 需要 .中 的 字符 串 ， 即 得 到 .中 最 后 一 个 选中 的 字 
FER, HUH, (a) 定 义 选 定 的 字符 串 ， 以 及 通过 M, ELEM (a)。 可 以 得 到 两 个 双 
边界 : 

ER 下 
以 及 
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2") M (a) < PM (a)) < PK.) +2-™*” M, (a) 
将 第 一 个 式 子 PCM, (a)) 的 界 代 入 第 二 个 式 子 得 
Da Ht Ca < a Je gon Hs) 和 gnt H-s) M, 6a) eS ae P(K,) 
这 些 不 等 式 意味 着 


lim sup 二 logM。 (a) <H+e 和 lim inf TlogM. (a) > A—e 


因为 e 是 任意 的 ， 故 极限 是 互 。 
(b) 在 置换 时 ， 这 个 论证 可 能 会 在 没有 任何 变化 的 情况 下 重复 ， 因 为 排序 的 概率 像 
(a) 中 一 样 形成 了 一 个 相同 的 集合 ， 并且 通 常 是 通过 对 (1/n)& 应 用 大 数 定律 ， 参 见 
AA. 3. 3b) 和 式 (1. 3.19) 。 最 后 对 于 编码 理论 的 性 能 : 如果 我 们 准备 处 理 以 使 错误 概率 二 
x， 那么 不 需要 给 所 有 的 m" 序列 编码 w”， 仅 需 编 码 最 频繁 的 一 2” 个 。 因 为 及 二 logm( 在 
大 多 数 情况 下 之 logm)， 它 得 到 了 存储 空间 上 的 巨大 节约 (数据 压缩 )。 | 
举例 1.3.21 一 个 三 元 信 源 根据 以 下 规则 发 送 数 字 0 或 1: 
P(X, = k| Xm ll es Om = 1) = q, 
其 中 ,j,i 和 rr 取 0 或 1,r 二 有 一 j 一 i mod 2， 并 且 go 十 qi 二 1]。 求 信 源 的 信息 率 。 
也 得 出 二 元 Bernoulli 信 源 的 信息 率 ， 以 概率 ge 和 gi 发 送 数 字 0 和 1， 阅 述 这 两 种 结 
果 的 关系 。 
解答 ”这 个 信 源 是 一 个 第 二 序列 的 DTMC， 就 是 (X,，X,+1) 产 生 一 个 四 状态 的 DTMC 
P(00,00) = qo, P(00,01) = g,,P(01,10) = go,P(01,11)= qı 
P(10,00) = gos P1001) = g,,P(11,10) = qo ,P(11,11) = q, 
RIP 8 个 转移 概率 矩阵 的 元 为 空 。 这 就 给 出 了 
H 二 一 glogq 一 qilog9 


对 于 Bernoulli 信 源 答案 是 一 样 的 。 口 
举例 1. 3. 22 ”找到 随机 走 步 在 3X3 棋盘 DTMC HH j: 
T Biss 
4s ab (1. 3. 45) 
7) OP 9 








REA, $, SeRHLHMFE. 
解答 “我们 仅 考 虑 国王 的 DIMC， 其 他 情形 相似 。 转 移 矩 阵 可 以 表示 为 ， 
0 1⁄3- 0 SO 0 0 0 
i, wll te L/S ds md 0 0 
0 143 0 0 neers Wile 0 0 0 
Worse O Oa? TOS ALS SS 0 
1/8 1/8 1/8 1/8 W 1/8... 1/8. A/S. 1/8 
0 BAD wells 0 1/5 0 0 Lf lS 
0 0 0 143% 1/3 ON 0 1/3 
0 0 OW 拟 8 1/515 家/5 De al VS 
0 0 0 0 ldap la 0 1/3 0 
TRAN EG m =r =r =n =A, mm =n Sm Hp n =v, M DBE 
A/3 = p/5,A/3 = v0/8,4A+4p+0=1 


p= 
p 
Cn 
© 
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= ae ae 
推出 4 三 35， w= Qo we. RNA 
CE Pg Tp 3 
nv 4A log 3 4u — log = vlog 19 0815 + 75 O 


1.4 信道， 解码 规则 ，Shannon 第 二 编码 定理 


本 节 我 们 证 明 Shannon 理论 的 一 个 核心 思想 一 一 第 二 编码 定理 (SCT)， 也 就 是 大 家 所 
知道 的 有 了 噪 编码 定理 (CNCT)。Shannon 证 明了 他 的 想法 并 且 在 他 20 世纪 40 年 代 的 论文 和 
著作 中 给 出 了 证 明 的 扩展 。 他 的 论点 受到 了 一 些 专业 数学 家 的 批评 (也 不 是 完全 不 合理 ) 。 
数学 界 花费 了 大 约 十 年 的 时 间 给 出 了 SCT 严谨 和 完整 的 证 明 。 然 而 ， 事 后 看 来 ，Shannon 
FS) EL “Bit DA Be tbs et AA AA hed SE Tl HE Be SL SR BLP BU EK) CF Et HK AFL SE EES A 
敬佩 的 。 本 书 将 重点 研究 这 个 话题 很 多 方面 的 内 容 ， 因 而 不 可 避免 地 会 带 入 我 们 的 个 人 
偏好 。 

至 此 ， 我 们 已 经 考虑 了 一 个 发 送 随机 文本 UU，… 的 信 源 ， 和 一 个 使 用 码 户 :， 7" 一 
P~, J=(0, 1} 的 二 元 码 本 x 编码 的 信息 u”。 现 在 我 们 关注 信息 n 的 长 度 和 码 字 长 度 
N: 它 是 通过 发 送信 号 的 信道 特征 决定 的 。 码 Sf, 应 该 被 接收 端 获 知 ， 这 很 重要 。 

通常 ， 信 道 易 受到 噪声 的 影响 ， 噪 声 可 以 使 得 传输 的 信息 失真 ， 在 输出 端的 信息 通常 
与 输入 端的 信息 不 同 。 形 式 上 ， 一 个 信道 可 以 通过 条 件 分 布 来 表征 : 

Pa ki R y | se x 发 送 ) Cha. 1) 
我 们 再 次 假设 这 对 于 输入 端 和 输出 端 都 是 已 知 的 。( 我 们 用 一 个 符号 Pa Ce | 码 字 xm 发 
送 )， 或 者 简明 地 用 Pal |x2)， 为 了 强调 这 个 概率 分 布 在 码 字 zy" 发 送 的 情况 下 是 由 信 
道生 成 的 。) 提 到 下 面 的 信道 ， 我 们 参考 一 个 条 件 概率 (1. 4. 1) (或 者 说 一 组 相互 联系 的 条 件 
概率 ， 取 决 于 N) 。 因 此 ， 我 们 用 符号 YO 代表 信道 输出 的 随机 字符 串 。 假 定 码 字 xm 发 
送 的 情况 下 

Pa YM = y™ |x) = Pa Cy | x) 
一 个 重要 的 例子 是 无 记忆 二 元 信道 (MBC) ， 其 中 


N 
Pao E Pl (1.4, 2) 
i=] 


如 果 y =y yy» rin 这 里 ， P(yl|z), ts HOOK 1 是 一 个 符号 到 符号 的 信 
道 概率 (也 就 是 说 考虑 到 符号 zx 已 经 被 发 送 ， 条 件 概 率 是 为 了 在 信道 输出 端 获得 符号 y) 。 
很 显然 ，{(P(Cy|z)} 是 一 个 2X2 的 统计 和 矩阵 (一 般 被 称 为 信道 矩阵 ) 。 特 别 地 ， 如 果 P(110)= 
P(011) 王 力 ， 这 个 信道 被 称 为 对 称 的 (MBSC) 。 这 个 信道 矩阵 有 一 个 形式 
at Fi p | 
a Rees 
b 被 称 为 行 错 误 概率 (或 者 符号 错误 概率 )。 
例子 1.4.1 考虑 一 个 无 记忆 信道 ， 其 中 Y= 义 十 Z， 加 性 噪声 Z 以 1/2 的 概率 取 0 或 者 1; 
4 是 一 个 给 定 实数 。 输 入 的 符号 集 是 {0，1}，2Z 是 独立 于 X 的 。 
这 个 信道 的 特征 依赖 于 a 的 取 值 ， 实 际 上 ， 如 果 “天 士 1， 这 个 信道 是 唯一 可 译 码 。 换 
句 话 说 ， 如 果 我 们 必须 用 这 个 信道 来 传送 长 度 为 n( 总 长 是 2*) 的 信息 (字符 串 )， 那 么 所 有 
信息 可 以 马上 被 发 送 ， 并且 接收 者 可 以 将 它 恢复 。 但 是 如 果 a 二 士 1， 那 么 就 有 可 能 发 生 错 
R, 为 了 保证 接收 者 可 以 恢复 信息 ;那么 我 们 必须 对 信息 进行 编码 ， 也 就 导致 了 需要 增加 
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发 送 到 信道 里 的 信息 的 长 度 ， 从 nn 到 NN。 

换 句 话说 ,发送 到 信道 的 长 度 为 N 的 字符 串 将 变 成 代表 长 度 为 n 的 信 源 信息 的 码 字 。 
能 保证 接收 者 恢复 原始 信号 的 n/N 最 大 比 是 一 个 非常 重要 的 信道 特征 ， 称 为 信道 容量 。 
EMR ABA, a AL] 变 为 a 三 士 1 导致 信道 容量 从 1( 无 需 编码 ) 到 1/2( 需 要 的 码 字 
长 度 为 信 源 信息 长 度 的 两 倍 )。 

所 以 ， 我 们 需要 介绍 一 个 译 码 规则 入 : J 了 “一 三 "以 使 得 总 体 错误 概率 

p= DRAY = 
a (1. 4. 3) 

= >) PU” = u) Pa Pu YO) Au” | fu”) 发 送 ) 


很 小 。 我 们 将 试 着 (在 一 定 的 条 件 下 才 会 成 功 ) 令 错误 概率 随 着 -~co 趋 近 于 0。 

这 个 想法 是 基于 以 下 的 事实 ， 

(1) 对 于 有 渐 近 均 分 性 的 信 源 ， 发 射 的 不 同 长 字符 串 的 数量 是 2 ， 其 中 H< 
logm 是 信 源 的 信息 率 。 因 此 ， 我 们 需要 编码 的 不 是 mm 一 2%w 信息， 仅仅 是 可 能 小 一 些 的 
2 。 也 就 是 说 ， 码 了, 也许 被 定义 在 Tx" 的 子 集 上 ， 码 字 长 度 是 N 一 [nH1。 

(2) 我 们 可 能 试 一 个 更 大 的 N: N=[R'nH], R@—-THBR, 0<R<1. HME 
说 ， 码 字 长 度 从 [nH 1 到 [及 1nHH 1 的 增长 将 允许 我 们 引出 一 个 在 码 fF. EATER PER 
们 希望 可 以 用 这 个 宛 余 去 减少 整体 错误 概率 (1. 4. 3) (前 提 是 附加 的 解码 规则 是 “好 的 ”) 。 
当然 ， 最 小 化 玉 ' 是 理想 的 ， 也 就 是 说 最 大 化 及 它 将 给 出 有 最 优 参数 的 码 。 信 道 将 决定 
REER. 

引入 符号 标记 是 有 帮助 的 。 因 为 码 字 长 度 是 一 个 关键 参数 ， 我 们 写 NWRER nH 
RN 而 不 是 Hn， 由 信 源 发 送 不 同 字符 趾 的 数目 变 为 NT, ERK, HA n~ AE ay 


将 在 一 些 地 方 被 忽略 (除了 被 N 代替 ) 。 考 虑 利用 # 多 一 2 "7 ， 一 个 典型 的 由 信 源 发 身 
的 离散 序列 子 集 Yw BRAN. BRE, Wy 可 以 包含 不 同 长 度 的 字符 串 ; 只 有 对 数 渐 
近 的 # 人 Ww 需要 考虑 。 因 此 ， 我 们 忽略 u” 中 的 上 标 (n)。 
定义 1.4.2 RE(0，1) 被 称 作 可 靠 的 传输 速率 (对 于 一 个 给 定 的 信道 )， 成 立 基 于 以 下 条 
件 : BBR RFE RARA HUn =T 的 集合 Wn 等 概 取 值 ， 那 么 存在 一 个 编码 规 
则 fn: S bi igi: J = 误 码 率 

Dy Baye eo SY) A ul fir 发 送 ) (1.4. 4) 


wet, Y 
poston nearer ee u 


个 编码 规则 fy: YKn, Ku SJN H EN A — FEL fs DSU 的 序列 ， 
使 得 


lim a D>) DFW AwP.Y™ | FwGo) 一 0 (1. 4.5) 
N= # Ds ney y™ 
定义 1.4.3 信道 容量 的 上 确 界 定义 如 下 
C= sup[R € (0,1): 尺 是 一 个 可 靠 传输 速率 ] (1. 4. 6) 


备注 1.4.4 Ca) 从 物理 意义 上 ， 信 道 容量 可 以 认为 是 一 个 极限 lim Alogz(N)， 其 中 mCN) 是 
字符 串 长 度 为 N 的 最 大 数目 ， 此 字符 串通 过 信道 后 可 以 无 差错 译 码 。 
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(b) Vy 的 等 概 分 布 式 是 由 于 它 是 最 坏 的 情况 。 人 参见 下 面 的 定理 1. 4. 6。 

(c) 如 果 编 码 规则 fy 是 一 对 一 的 (无 损 )， 那 么 它 满足 译 码 规则 ， 其 映射 为 SSSR N, 
而 不 是 J >Yn: 如 果 我 们 正确 地 猜测 了 已 经 发 射 的 码 字 I ™®, RIS w= fr a). 
除 此 之 外 ， 如 果 基 于 多 的 信 源 的 分 布 是 等 概 的 ， 那 么 错误 率 s 可 以 写 为 码 字 集 合 Yw 的 一 
个 平均 : À 

c= a ges [1—Pa(fy¥™) = x|x 发 送 )] 
因此 ，se==e™ 是 有 意义 的 ， 它 表明 了 平均 错误 概率 。 男 一 个 形式 是 最 大 错误 概率 
e™ = max[1—Pa(fy¥™) =x|x RB):x € Ky] 
BARB AT, e<, EARP, FMF "0 SRAM, (EAE Sa: e™—0 
是 否 正确 。 然 而 ， 在 2.2 节 中 ， 我 们 减少 考虑 用 RE e"™* 这 个 问题 ， 所 以 如 果 em“ 代替 
了 es， 本 节 信 道 容 量 的 函数 也 是 成 立 的 。 
备注 1.4.5 (a) 根据 下 面 的 定理 1.4.17， 可 以 给 出 MBC 信道 的 信道 容量 
pill stip Gh. 45°79 


ERE, IX Y,) 是 输入 符号 X 和 输出 符号 Ya 之 间 的 互信 息 ( 下 标 & 可 以 省 略 )， 联 合 
分 布 为 
POX. = 2,Y = y) = pxlpP Cy la ar v= 0.1 (1. 4. 8) 
这 里 px(z) 二 P(X 三 zx)。 式 (1.4.7) 中 的 上 确 界 是 全 局 可 能 性 分 布 px (zx) 二 (px (0), 
px(1))。 一 个 有 用 的 公式 即 IX: Y=ACY)—ACY |X) HR. 3. 12))。 事 实 上 ， 对 于 
MBSC 来 说 
h(Y|IX)=— 5) px(z) >) PCyl|z)logPly|z) 
z=0,1 y=0"1 (1. 4. 9) 
— 》) PCylz)logP(ylz) = hi(p,1—p) = mp) 


下 标 2 可 以 省 略 。 
因此 h(Y|X) 二 yp) 不 依赖 于 输入 分 布 px， 并 且 对 于 MBSC 
C = suph(Y) — 9(p) (1. 4.10) 
Px 


但 是 当 px (0)= px (1) =1/2 FF H py (0) = py (1) =1/2( p+1—p)=1/2 if, suph (Y) SF 
Px 


log2 二 1。 因 此 对 于 一 个 行 错误 概率 为 p 的 MBSC， 有 
O17(p) (1. 4.11) 
(b) 假设 信 源 U1U;… 具 有 渐 近 均 分 性 ， 并 且 信 息 速率 为 互 。 为 了 通过 一 个 信道 容量 
为 C 的 信道 发 送 一 段 信 源 产生 的 信号 ， 我 们 需要 对 长 度 为 对 的 信 源 信息 用 长 度 为 元 ( 互 十 
e)/C 的 码 字 进行 编码 ， 以 确保 当 ”ce 时 整体 错误 概率 趋 近 于 零 。 数 值 e> 0 可 以 取 任 
意 小 的 值 。 因 此 ， 如 果 互 /C<1， 可 以 使 一 段 信息 的 编码 速度 比 它 的 产生 速度 快 : 信道 
可 以 被 用 来 可 靠 地 从 信 源 传送 信息 。 相 反 ， 如 果 互 /C>1， 信 源 信息 的 产生 速度 太 快 以 
至 于 我 们 无 法 对 其 进行 编码 并 通过 信道 可 靠 地 传送 出 去 。 这 种 情况 下 传输 是 不 可 靠 的 。 
对 于 一 个 Bernoulli 或 者 静态 Markow 源 和 一 个 MBSC， 条 件 H/C<1 等 价 于 ACU) +7(p)<1 
或 者 MU [UD +n <1. 
事实 上 ，Shannon 的 想法 并 没有 因为 他 主导 同时 代 的 数学 界 而 被 轻易 地 接收 。 到 底 谁 
被 认为 是 信息 论 的 发 明 者 这 个 观点 就 变 得 很 有 意思 了 。 
定理 1.4.6 确定 一 个 信道 ( 即 式 (1.4.1) 中 的 条 件 概 率 Pu) 和 信 源 序列 集合 多， 用 es( 耳 来 
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REHTAVELREDHA PRAU” 的 全 局 错误 概率 (1.4.3)， 在 所 有 的 编码 解码 规 
则 下 都 是 最 小 化 的 。 那 么 
e(P) <e(P°) (1.4. 12) 
其 中 巴 表 示 在 多 上 的 均匀 分 布 。 
证 明 确定 编码 解码 规则 AA, 并 且 让 一 个 序列 wE 儿 的 概率 分 布 为 Pu), 4u 发 散 时 
定义 错误 概率 为 
Ba) = $; Paol fw) 
y: f(pAu 
全 局 错误 概率 为 
C= P= 2, PUDRU) 
uc 
如 果 我 们 变换 码 字 的 配置 (也 就 是 用 f(w ) 编 码 uw, HP u =u), JF AA BRE SYN 
个 变换 )， 我 们 可 以 得 到 全 局 错误 概率 (4)= 2 PODRA). EP) =(#Y) 的 情况 
ue 


下 (均匀 分 布 )，e(4) 不 依赖 于 4， 并 且 可 以 得 出 
g 1 0 
e= FP LAAD 


Xt TB Pu), weY), FEA TIER ASE EKRE, Ti 
机 排列 A, SEWAAHEC HED! 个 关于 井 儿 的 全 排列 上 。 那 么 
mine (A) < Ee (A) = E>) PB Au) 
A uey 


1 





= 27 Pw) E glAn) = 2, PU) 7 AD =ë 
因此 ， 对 于 给 定 的 任何 SAS, RITET AIRE K H hk APF SU) R E1 E DG AR 
e(P’, fs fo. Ot f 和 Ff 的 最 小 化 会 引出 式 (1. 4.12), 口 
举例 1. 4.7 MpmEEX FY, RARE “AFR” lool, 分别 代表 传输 信道 的 输入 
和 输出 符号 。 信 道 的 条 件 概率 为 P(z|y) 二 P(X 二 zx|Y 二 y)。 用 h(P(，。|y)) 表 示 条 件 分 布 
PC. |y), yEJ asi 


ACP(+ |y) =— X P(X |y)logPla |y) 


用 大 (和 |Y) 表 示 给 定 了 情况 下 X 的 条 件 粹 。 定 义理 起 观测 解码 规则 为 一 个 映射 a 
这 样 对 于 所 有 的 YE 都 有 了 (f(y)1y) 王 maxP(z|y)。 试 证 明 
(a) 在 这 样 的 准则 下 ， 错 误 概率 为 
rly) = lz # f(y) PCaly) 
re 


HR LOKER aes 


(b) 错误 概率 的 期 望 值 满足 YOLLA |Y). 


解答 ”的确 ，(a) 满 足 举 例 1. 2. 7 PAG), AY 
ra 一 1 一 PCOFyly 三 1 一 Po(。| >) 


上 式 小 于 或 者 等 于 方 ACP( 。|y))。 最 终 ， 因 为 h(X|Y)= 二 Bh(P(。|Y))， 可 以 通过 求 期 
望 由 (a) 推 出 (b)。 E 
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我 们 在 前 面 提 到 ， 一 个 一 般 的 解码 规则 (或 者 译 码 器 ) 是 映射 人，J** 一 WYw; 在 无 损 
编码 准则 fy REF, fn 是 一 个 映射 J** 一 人 Zs。 其 中 必 是 码 字 的 集合 。 有 时 通过 对 每 个 
BFN 固定 一 个 集合 AC )CJxw 来 确定 解码 规则 会 变 得 很 方便 ， 这 样 ACziw ) 和 
AG HE xf" Axl? 时 是 互 斥 的 ,并 且 并 集 U AG) 给 出 全 部 的 D, HEA 


YP EAC), RATE fy OMS, 

虽然 在 信道 容量 的 定义 中 我 们 假设 信 源 信息 是 均匀 分 布 的 (正如 我 们 提 到 的 ， 就 定理 
1.4.6 的 而 言 ， 这 给 出 了 最 坏 的 情况 ),， 但 是 在 实际 过 程 中 信 源 并 不 总 是 符合 这 种 假设 .。 
最 后 ,我们 需要 分 辨 这 两 种 情况 : (i) 接 收 端 知道 信 源 符号 串 的 概率 (因此 也 知道 码 字 
XY EDRy 的 概率 分 布 pn (x )) 

plu) = PU = u) gS 13) 

和 (ii 接收 端 不 知道 py Cx), PARP RES A Zp a FC. 

G) 理想 观测 (Ideal Observer, 10) 准则 将 接收 到 的 信号 yO 译 为 最 大 后 验 概率 的 码 
ga 
pir AE |") 


Pox“ 发 送 | ya 接收 ) PIN Om 


(1. 4. 14) 


其 中 
pr OY) =e y Pn (E™ ) Py Cy | #0) 


reg, 

Gi) 最 大 似 然 (Maximum Likelihood，ML) 准 则 通过 将 接收 到 的 信号 yw 译 为 最 大 先 

验 概率 的 码 字 zx 

Paty [wey (1. 4. 15) 
EH 1.4.8 假设 编码 准则 了 定义 在 具有 非 零 发 生 概 率 的 消息 集合 上 ， 并 且 是 一 一 对 应 
的 ， 那 么 : 

(a) 对 于 任何 编码 准则 ，IO 译 码 器 可 以 实现 最 小 的 全 局 误 码 率 。 

(b) 如 果 信 源 信息 了 在 集合 多 上 是 等 概 分 布 的 ， 那 么 对 于 任何 上 面 提 到 的 编码 准则 f: 
GUNw， 随 机 码 字 局 一 FU) 在 YN 上 是 等 概 的 ，IO 译 码 器 和 ML 译 码 器 的 效果 相同 。 
证 明 为 了 简化 ， 我 们 再 次 忽略 上 标 (NN)。 

(a) 注意 对 于 一 个 接收 到 的 字符 y，IO 显著 最 大 化 了 联合 概率 p(x) Paly|x) 4 y Hh 
定时 ， 式 (1.4. 14) 的 分 母 就 确定 了 ) 。 如 果 我 们 使 用 编码 准则 了 和 解码 规则 7， 全 局 错误 概 
率 ( 见 式 (1. 4. 3)) 为 


DPU = MPLA Ca 发送) 
= pr LOY AD Pa le = a H fly) px) Pa (yx) 
x y KA x 


= X D pP Olx) — AD ONP Ol = eGo PaG| FO 
J x J J 


要 注意 当 7 符 合 IO 准则 时 ， 和 D>) pC PCy) Pay] PO) 中 的 每 个 符号 的 取 值 都 最 大 化 了 。 


因此 ， 可 以 实现 整体 和 的 最 大 化 和 全 局 错误 概率 的 最 小 化 。 
(b) 第 一 个 描述 已 经 明显 指出 了 证 明 方向 ， 事 实 上 ， 第 二 个 也 很 清楚 。 o 
假设 在 信道 容量 的 定义 中 信 源 信息 是 等 概 的 ， 那 么 就 很 自然 要 去 研究 ML 译 码 器 。 当 
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使 用 ML 译 码 器 的 时 候 ， 可 能 因为 其 中 一 个 译 码 器 选择 了 一 个 错误 的 码 字 或 者 一 个 编码 准 
则 f 不 是 一 一 对 应 的 而 发 生 一 个 错误 。 这 样 的 概率 在 定理 1.4.8 中 做 出 了 估计 。 为 了 更 进 
一 步 的 简化 ， 我 们 用 了 代替 P。,; 符号 卫 主 要 用 来 表示 联合 输入 /输出 分 布 。 
引 理 1. 4.9 ”如果 信 源 信息 在 集合 WY 是 等 概 的 ， 当 使 用 ML 译 码 器 和 编码 准则 有 时， 全 局 
错误 概率 符合 

GT D PPEY|fWD>PY|fW)|U =u) (1.4.16) 


WEYW u EY iu Au 

证 明 如果 信 源 发 送 u 并 且 使 用 ML 译 码 器 ， 我 们 得 到 

(a) 会 有 一 个 错误 ， 对 于 某 些 w 关 u,， 当 PC(Y|f(w)) 宝 P(Y|f (wD) 时 。 

(b) 可 能 有 一 个 错误 ， 对 于 某 些 w 了 wu( 这 包含 fo 三) 的 情况 )， 当 P(Y|f(u))= 
P(Y|f(w)) 时 。 

O 没有 错误 ， 对 于 任何 w 关 u， 当 PCY|f(w)) 二 P(Y|f(w)) 时 。 

因此 ， 概 率 的 上 界 可 以 表示 为 : 

P(error|U =w) 过 PCP(Y|f(u)) 宇 PCY|f(w))， au Aul|U = u) 


< >)1(w Aw) POPPY | f(u')) > PY |f) |U = u) 
wey 
Rigg BHAA u 求 和 可 以 得 到 结果 。 m 


备注 1.4. 10 假如 用 pw Bg 上 界 (1.4. 16) 对 于 所 有 的 概率 分 布 p(w) = PC 


u) 都 应 当 是 不 变 的 。 

正如 我 们 已 经 提 到 的 ， 随 机 编码 在 确定 性 编码 准则 中 是 一 项 有 用 的 工具 。 确 定性 编码 
准则 是 映射 f: Vo’; MREYV=r, WA Sf RMRABF fm), e, FUD WRA, 
或 者 相当 于 级 联 的 超 字符 串 ( 或 者 码 本 ) 

f(a) f(a) E TH = {0 
HP uy, +, u 是 信 源 序列 (不 是 字母 ) 构 成 集合 和 。 如 果 f 是 无 损 的 ， 那 么 当 i 了 7 时 fu dF 
Fw)。 随 机 编码 准则 是 一 个 (Jxx)7 上 的 随机 元 素 正 ， 概 率 分 布 为 PFE= f), fECT*™)’. 
相应 地 ,下 可 能 被 认为 是 随机 码 字 F(wu)(i==1，…，7) 的 集合 或 者 相应 地 被 认为 是 一 个 随 
机 码 本 
F(u,)F(u,)-**F(u,) € {0,1} 

一 个 典型 的 例子 是 码 字 FC(w)，F(wu;)，…，F(u,) 是 相互 独立 的 ， 并且 构 成 F(w;) 的 ( 随 
机 ) 符 号 Wa，…，Wiw 也 是 相互 独立 的 。 

考虑 随机 编码 准则 的 原因 是 : 

(1) 一 个 好 的 确定 性 码 的 存在 通常 是 由 于 存在 一 个 好 的 随机 码 ; 

(2) 随机 码 的 计算 一 般 比 最 优 确定 性 码 简 单 ， 因 为 离散 最 优化 被 关于 概率 分 布 的 最 优 
化 替代 了 。 

随机 码 的 缺点 在 于 它 并 不 总 是 一 一 对 应 的 (对 于 użu, Fafe Fuh). 
然而 ， 当 N 较 大 时 ， 这 样 的 情况 发 生 的 概率 微不足道 。 

随机 码 的 思想 回归 了 Shannon。 正 如 在 数学 历史 中 经 常 发 生 的 ， 一 个 聪明 的 主意 解决 
了 一 个 问题 ， 但 是 同时 也 打开 了 一 个 关于 其 他 问题 的 潘多拉 魔 盒 。 在 这 方面 ， 随 机 码 的 余 
波 引 出 了 一 个 特殊 问题 ， 那 就 是 寻找 好 的 非 随机 码 。 现 代 信息 与 编码 理论 的 一 个 主要 部 分 
就 是 围绕 着 这 个 问题 ， 并 且 到 目前 为 止 没有 发 现 一 个 普 适 的 解决 方案 。 然 而 ， 也 实现 了 一 
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系列 卓越 的 成 果 ， 在 本 书 中 将 会 讨论 其 中 的 部 分 问题 。 
继续 随机 码 ， 随 机 码 的 编码 准则 F 的 误差 概率 期 望 如 下 : 


Ee A = f) (1. 4.17) 
ff 
定理 1.4.11 
(1) 存在 一 个 确定 编码 准则 f 使 得 e(f) 二 EE。 
E 
(2) 对 于 任意 pE(0，1)， P(e(F) <75) >e. 
证 明 G) 很 明显 可 知 。 对 于 (iD H Chebyshev 不 等 式 (参见 PSE L; 75 页 ) ， 
P(e >75) < HE >o o 
TO 
定义 1.4.12 对 于 随机 信息 XY =X Xy MYY =Y Yn, EM 
全 sup (glx :Yo )， 对 于 输出 概率 分 布 peon ) (1. 4. 18) 
HR IXY, ¥™ JEW PF ze WY Ba 
kN 了 要 RCX Em a 万 CYGN ) E A E Ga 


备注 1.4. 13 一 个 简单 的 启发 式 论证 (在 2. 2 节 中 将 会 给 出 严格 证 明 ) 表 明 信 道 容量 不 可 能 
超过 其 输入 和 输出 信号 的 互信 息 。 确 实 ， 对 于 每 个 典型 的 输入 N 序列 ， 有 

大 约 2 | 个 可 能 的 YW 序列 
所 有 的 这 些 序列 等 可 能 出 现 。 我 们 无 法 知道 发 送 的 是 哪个 序列 X 除非 没有 两 个 Xem 序列 
产生 相同 的 YO 输出 序列 。 典 型 Yew 序列 的 数目 是 2 ，。 这 个 集合 分 出 大 小 为 
Qh |) 的 子 集 ， 分 别 对 应 着 不 同 的 输入 Xe 。 那 么 非 联合 的 集合 数 

< ON e i E, 
因此 ， 长 度 为 N 的 可 区 分 的 信号 总 数 不 能 比 2“”*” 更 大 。 这 两 个 论证 稍 有 不 同 ， 典 型 
序列 XO 的 数量 是 2%%” 。 然 而 仅 有 2wY% ”个 联合 典型 序列 (Xe ,Ym ) 。 所 以 随 
机 抽取 一 堆 序 列 为 联合 典型 序列 的 概率 为 2- ” ) 。 所 以 可 区 分 的 信号 数量 的 上 界 
是 人 
定理 1.4.14 (Shannon SCT: 相反 部 分 ) 信 道 容 量 C 遵循 

C= lim sup Cy (1. 4.19) 

证 明 考虑 一 个 码 [二 fn: UENEN, He Dy =2"Fo, REO, 1). 我们 想 
要 证 明 对 于 任何 解码 规则 ， 都 有 


R+o0(1) 
定理 的 要 求 立即 遵从 了 式 (1. 4. 20) 和 信道 容量 的 定义 ， 因 为 


(1. 4. 20) 


limi el > L sup Cy 
No R N= 
“4 R>lim supCn nt, ERO, 
让 我 们 针对 一 一 对 应 的 (否则 a( 放 会 更 大 ) 来 验证 式 (1. 4. 20)。 当 序列 UU 也 是 均匀 分 


布 的 时 候 ， 码 字 X= 二 了 (U) 也 是 均匀 分 布 的 ， 并 且 如 果 解 码 规 则 是 六 JY 一 ， 那 么 当 
NN 足够 大 时 ， FATA. 
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NC X SST ee) Sx. fY™ (EM ye 1.2.6) 
Sn”) hX AYS) 
= logr —A(X™ | PYV Gt EDA) 
= lopr—el fp) loer zi 
这 里 和 下 面 都 有 r= +Y. RIAA AA X Fano 不 等 式 (1. 2. 25)。 确 实 ， 观 察 (随机 ) 
码 字 X= 二 f(D0) 需 要 从 码 字 集合 多 ( 二 rw) 中 取 r 个 值 x?”，…，x:”， 错 误 概 率 为 


EC STP =z, JYT) Ag) 
i=1 


所 以 式 (1. 2. 25) 表 明 
ACX™ | FY™)) < he (e) + elog(r — 1) <1+e(f)log(r—1) 
并 且 我 们 得 到 NCySlogr—e(flog(r—1)—-1. RATI, r=2NF™ , 并且 
NCy > N(R+ 0(1)) — E(f) log( 255 一 1) 

也 就 是 
as ce ae BE - 

HPAY, YO ) 作 为 分 配 的 随机 变量 的 输入 和 输出 为 随机 码 字 XS A 的 信道 联 
BH. AT ft. px XA py Y™ ) 分 别 表 示 随 机 变量 XY ALY” 的 边缘 概率 。 
定理 1.4.15 (Shannon SCT: 直接 部 分 ) 假 设 我 们 可 以 找到 一 个 恒定 的 常数 cE (0，1)， 
以 至 于 对 于 任意 的 REO, df N1 REE Ap Fan), e, F), HP r= 
2NRtoD) ， 码 字 (wi)EJ*N 是 独立 同 分 布 的 ， 那 么 随机 输入 输出 信号 的 互信 息 

a tee pix” ,ZN ) 
N 8 by X™) py Y™) 

当 N 一 co 时 依 概 率 收 化 于 c。 那 么 信道 容量 Coc. 

定理 1. 4. 15 的 证 明 在 举例 1. 4. 24 和 举例 1. 4. 25 之 后 给 出 (后 者 在 技巧 上 更 加 复杂 ) 。 
开始 ， 我 们 解释 Shannon 在 他 1948 年 的 论文 中 证 明 概述 的 策略 。( 这 个 想法 变 成 一 个 正式 
的 论证 花 了 大 概 十 年 的 时 间 。) 

首先 ， 生 成 一 个 随机 码 本 多 ， 码 本 由 r= 2 ha eM A), e XV). 
设 收 发 双方 都 知道 码 字 Xe A), s XY (> 和 信道 转移 概率 矩阵 Pa (y|x)。 接 着 根据 一 
个 统一 分 布 选择 信息 ， 对 应 的 码 字 通过 信道 发 送出 去 。 接 收 用 户 使 用 最 大 似 然 C(ML) 准则 
来 译 码 ， 也 就 是 选择 一 个 后 验 概率 最 大 的 信息 。 但 是 这 道 程 序 很 难 进行 分 析 。 我 们 可 以 换 
一 种 方法 ， 使 用 一 种 次 优 但 是 直接 的 典型 序列 译 码 。 如 果 仅 有 一 个 输入 ， 那 么 信息 w 对 应 
的 码 字 和 信道 输出 信号 是 联合 型 的 ， 接 收 端 宣布 信息 w 被 发 送 。 如 果 没 有 此 码 字 存 在 或 者 
它 并 不 是 独一无二 的 ， 那 么 接收 端 提示 一 个 错误 。 出 人 意料 的 是 ， 这 种 程序 是 渐 近 最 优 
的 。 最 终 可 得 ， 一 个 好 的 随机 码 本 的 存在 暗示 了 一 bach kde 

换 名 话说， 信道 容量 CASH c 值 的 上 界 小 ,ce 是 式 (1.4.21) 对 于 一 个 合适 的 随机 编 
码 依 概率 收敛 的 值 。 
推论 1.4.16 对 于 在 定理 1. 4. 15 的 假设 中 的 c， 我们 有 

sup c < C < lim sup CN C1. 4.22) 

所 以 ， 如 果 式 (1. 4. 22) 的 LHS 和 RHS 重合 ， 那 么 它们 的 共有 值 将 给 出 信道 容量 。 

接 下 来 我 们 用 Shannon SCT 来 计算 一 个 MBC 的 容量 。 回 想 一 下 (参见 式 (1. 4. 2)), 
对 于 一 个 MBC， 





(1. 4. 21) 
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N 
Cy |x) = [Pyle (1. 4. 23) 
i=l 
ZE 1.4.17 对 于 一 个 MBC 


N 
政法 00 se < hhc :Y;) (1. 4. 24) 


如 果 输 入 符号 Xi, XN Faih ii 那么 么 等 号 成 立 。 


N 
证 明 因为 PCy [x)= TI Py; |2j)), RER AY” |X SFA DAY; |X). W 
j=1 j 
么 互信 息 为 
x~ FM) = RYM) —h(y™ ID. Seat E acy™ ) = Da h(Y; |X;) 


1<j<N 


CACY) ROAD = SRF 


当 且 向 当 Yi; s., Yh 互相 独立 时 等 号 成 立 。 但 是 当 Xi "5 XN 互相 独立 的 时 候 Yi; Es 
Yy 也 是 互相 独立 的 。 口 
备注 1. 4. 18 ”比较 不 等 式 (1. 4. 24) 和 (1. 2. 27) 。 注 意 这 些 界 中 相反 的 不 等 式 。 
定理 1.4. 19 一 个 MBC 的 容量 为 

C= sup TCX, :Y,) (1. 4. 25) 


上 确 界 是 在 符号 X 所 有 可 能 的 分 布 px 上 取得 。 

证 明 根据 Cx 的 定义 ，NCw 不 会 超过 
sup 1(X :¥™) < 5) sup I(X;:¥;) = N sup 1(X, :¥1) 
Px j Bx, Px, 


所 以 根据 Shannon SCT( 相 反 部 分 ) 
C< lim sup ER fos KX: YI 


xi 


另 一 方面 ， 采 取 随 机 编码 F, BFH Fu) =V Vw, 1Sl<r, 包含 独 立 同 分 布依 
概率 p 分 布 的 符号 V;， 概 率 分 布 p" 最 大 化 了 IX: Yi1)。( 这 样 的 随机 编码 定义 适合 任 
何 的 ~>， 也 就 是 ， 对 于 任何 尽 ( 即 使 尺 >1!) 。) 对 这 样 的 随机 编码 ， 了 等 于 


pix” s¥™) = 1 N p(X;,Y;) eis 
Nlog ORV) 一 N2 lE pr Cy py Cy) Aut 
ay PX, Yi) 
FOR Gs =log se Xp CY) 
随机 变量 g 是 独立 同 分 布 的 ， 并 且 
Et; = Blog ERY ~ = 1,: (XisY,) 


RG ys Ay ole 
根据 针对 独立 同 分 布 的 随机 变量 的 大 数 定理 ( 见 定理 1. 3. 5) ， 对 于 上 面 提 到 的 随机 编码 


P 
Oy — I; (XI i TCR, : Yi) 


Px, 
根据 Shannon SCT( 直 接 部 分 ) 
C= stp XYD 


x 


因此 ， C= sup I(Xi: Yı). 回 
Px, 
备注 1.4.20 (a) (Xi, Yi MATWARALER(X,, Y), jS1. 
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(b) 回想 X AY, 的 联合 分 布 是 通过 PAX =2, Yi=y)=px, (py EL, 其 
中 (PCy|z)) 是 信道 转移 矩阵 。 

(c) 虽然 我 们 提 到 对 于 每 个 ~( 也 就 是 对 每 个 R 壹 0) 上面 的 结构 都 成 立 ， 但 是 事实 上 仅 
限于 RC 的 情况 。 
例子 1.4.21 一 位 统计 者 对 一 个 转移 概率 为 P(y|z)， 信道 容量 C=maxI (X: Y) 的 无 记 


忆 信 道 (MBC) 进 行 预 处 理 ， 他 声明 通过 形成 Y' ==g(Y) 会 严格 地 提高 信道 容量 。 他 是 对 的 
吗 ? 当然 不 是 ， 因 为 预 处 理 ( 或 者 算 改 ) 不 会 提升 信道 容量 。 的 确 ， 
I(X:Y) = h(X) —h(X|Y) > ACX) —ACX |g (Y)) ND 1. 4. 26) 
在 何 种 情况 下 他 不 能 严格 地 降低 信道 容量 ? 式 (1. 4. 26) 成 立 当 上 且 仅 当 分 布 px 最 大 化 工 (X: 
Y)， 给 出 g(Y)， 随 机 变量 X 和 YY 条件 独 立时 等 号 成 立 。( 例 如 ，g(y1) 三 g(yz) 当 上 且 仅 当 
MFR x, Px, y(r|y1)=Px\y(arly2)3 也 就 是 说 只 有 当 条 件 概率 PxjyC* |. PRL y 
的 值 是 相同 的 时 ，g 会 融合 在 一 起 ,) 对 一 个 MBC 来 说 ， 当 且 仅 当 g 是 一 一 对 应 或 者 二 
PO|D=SPA|0=1/2 的 时 候 ， 等 号 成 立 。 
当 信道 是 对 称 的 (MBSC) ， 式 (1.4. 25) 可 以 进一步 地 简化 ， 比 如 P(110)==P(0|1)=p。 
更 精确 地 ， 按 照 备 注 1. 4. 5(a)( 见 式 (1.4.11))， 我 们 可 以 得 到 
定理 1.4.22 对 于 一 个 错误 率 为 pp 的 MBSC， 
C= kil- p= 1—7) (1. 4. 27) 
见 式 (1.4.11)。0，1 等 概 分 布 ， 独 立 同 分 布 的 符号 Vi 的 随机 编码 可 以 实现 信道 容量 。 
举例 1. 4. 23 
(a) 考虑 一 个 无 记忆 信道 ， A 和 B 是 两 个 输入 符号 ,输出 为 A，B，x 。 假 设 每 个 给 
入 符号 被 阻拦 的 概率 为 1/2， 传 输 为 &x 的 概率 是 1/2。 写 出 信道 矩阵 。 
(b) 如 果 输 出 被 一 个 不 能 区 分 A 和 *#* 的 信 宿 处 理 ， 计 算 新 信道 的 容量 ， 信 道 转移 矩阵 为 


水 | 
解答 (a) 信道 转移 矩阵 为 
1a, Gr ape 
| ge ays v 


它 是 对 称 的 ( 行 与 行 之 间 是 置换 的 关系 。 所 以 ， MY |X=2)=—2X Slog $a 并 不 取决 


F 2z=A, B 的 值 。 那么 ACY |X)=1, 并 且 
I(X:Y) =A(Y) — 1 (1. 4. 28) 
如 果 PCX=A)=a, MAY 的 输出 分 布 为 


(六 ;圭一 去) 


hY | XVE a=1/2 时 取得 最 大 值 。 那 么 容量 等 于 
1 


h0/4,1/4,1/2 —1 = 7 (1. 4. 29) 


(b) 此 处 ， 信 道 是 不 对 称 的 。 如 果 PAXSA) =a, BARE A HRA 
ACY |X) = ah(Y|X = A) + C1 —a@)h(Y|X =B) =a X0+ (1—@) X1 = (1—a) 
那么 
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2 2 2 2 
H 
~~ lte Lra la Se 
I(X:Y) = log 7 5 log 7 l+a 
当 a 二 3/5 时 取 最 大 值 ， 信 道 容 量 为 
(log5) — 2 = 0. 321 928 O 


我 们 的 下 一 个 目标 是 证 明 Shannon 的 SCT( 定 理 1. 4. 15) 的 直接 的 部 分 。 先 前 声明 过 ， 
证 明 是 基于 以 下 两 个 实例 的 。 
举例 1.4.24 令 下 为 一 个 随机 编码 ， 独 立 于 信 源 U， 那 么 码 字 FF(wu1)，*…，F(wu,) 是 独立 
同 分 布 的 ， 概 率 分 布 是 py: 
prio) = PFW) =v), v= 0") E€ yn 
By tps GH1, oy ry BARA, r= 2NFOO ) FY MMBEV,, > Via 
MEU =ù MA V =F) i<j 
BV..= Fma iaj ljana Siarl (1. 4. 30) 
UGH aA), X=FCU)(MMBF) FV, oh, Vi RRA, XHH-AV,, *, 
Vi 有 以 下 分 布 Pre 
解答 ”证明 是 直接 的 ， 符 合 下 面 的 联合 概率 
PU = uj, X = x,V, = vs V,a = vi) = PU =u) per(x) pelo) pr(v 1) O 
(1. 4. 31) 
举例 1.4.25 ”对 于 任意 >00, PHA) 1.4.24 中 的 随机 编码 
E = Ee(F) < P(@y <u) +r2™ (1. 4. 32) 
这 里 ， 将 式 (1.4. 21) 中 的 随机 变量 定义 为 Gy， 且 EOy= TUX”, Y™), 
RA SPA x(=x™) I y(=y™)ET*%, 证 
S,(x): = {x © VP: P(y|x') > PCy|z)} (1. 4. 33) 
也 就 是 说 ， 当 x 传输 ，y 接收 时 ，S, (x) 包 括 了 ML 译 码 器 可 能 产生 的 所 有 码 ， 对 于 一 
给 定 的 非 随机 编码 规则 f 和 一 个 信 源 序列 w， 对 于 一 些 w 关 uw， 如 果 fu) ES, Sa), W 
么 6(f，u，y)= 二 1， 其 他 情况 6(f，u，y) = 二 0。 清 楚 地 看 到 ，5(f，u，y) 等 于 
1 一 [[ fun E S fw = [| LMF) € 5,(f@)))] 
wu Fu wu Au 
对 于 所 有 的 非 随机 编码 f. e D<KESC, U, Y), HTAA F, E=Ee(F)< 
EF, U, Y) 。 进 一 步 ， 对 于 举例 1.4.24 中 的 随机 编码 ， 期 望 值 B86(F，U, 了 ) 不 超过 


7 一 1 


E(1— J] Pray, E Sy(X))])= DS) pr >) Plx) 
x BL (1— [[ 1-1, E S,(X)) ]|X =x,¥ = y) ] 
根据 独立 性 ， 上 式 等 价 于 
25px DPC lw) ( 1- [za - 1weseo))) 
进一步 地 ， 由 独立 同 分 布 的 性 质 ( 同 举例 1. 4. 24 解释 的 一 样 ) 


Ta = Liv es,œw)) = (1 =e)” * 
¡=i 
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其 中 
Q, (x): = SIG € S,(x)) px (x) 
MU, 期望 错误 率 为 E<1 一 E(l1 一 Q(X))"!'。 
H TETOR, BF x, y 对 的 集合 


TENY p(x, y) 
Ox N°8 nko S 





利用 等 式 
r-2 
1—(1—Q,(@)) = J aQ, xQ, (x) (1. 4. 34) 
j=0 
接 下 来 观察 
1—(—QG <1, Xay 你 下 (1. 4. 35) 


r-l 
a- a-g a= D1— QQ, (x) 


gæl 


< (r—1)Q,(x) 


得 到 
E<PUX.Y) 人 十 (Cr 一 1) D) px()P(y|x)Q,(x) (1. 4. 36) 
(zp ET 
现在 观察 
了 P((X,Y) ¢ T) = POs <x) (1. 4. 37) 


最 后 ， 对 于 (x，y)ET 和 x'ES,(x) 
P(y|x') > P(y|x) > py(y)2™ 


wine, 得 到 PCX=x' |Y 二 y) 宇 px (x')2w。 两 边 同 加 x' CS, (x), 得 到 1> 
P(S, (x) |Y= y2Q,(x)2™, 或 者 

Dix) ae (1. 4. 38) 
把 式 (1.4. 37) 和 式 (1. 4. 38) FRAC. 4. 36) 得 到 式 (1. 4. 32). Oo 


证 明 定理 1.4.15 HEE WAR sem. R=c—2e, e=c—e, AW r=2NRr™, 
E 不 会 超过 下 式 
P(On zE c—e) < = P(Ox =< 人 一 大 3 DN 


当 Nott, RAFO, HAERE Oy 一 >c 下 ，P(@N 过 c 一 e)>0。 所 以 ， 随 机 编码 F 
当 N->~ce 时 ， 期 望 错 误 率 趋 于 0。 

由 于 定理 1. 4. 11(iD ， 对 于 任何 N 宇 1， 存 在 一 个 确定 编码 f= fyn, Ha R=c—2e, 
lime(f)=0. 所 以 ， 尺 是 一 个 可 靠 传输 速率 。 对 于 任何 s 之 0 都 成 立 ， 因 此 Coc. O 

证 明 中 的 论证 形式 是 P. Whittle 提出 的 ， 且 呈现 在 文献 L[52]114 一 117 页 中 。 我 们 感谢 
C. Goldie 提供 的 信息 。 另 一 种 方法 是 基于 联合 典型 性 的 概念 ， 这 个 办 法 在 2. 2 节 中 用 过 ， 
我 们 讨论 了 连续 分 布 噪声 的 信道 。 

定理 1. 4. 17 和 定理 1. 4. 19 可 以 扩展 到 一 个 无 记忆 信道 ， 此 信道 由 任意 有 限 个 输出 符 
号 集 J,=(0, =, q—-1} Om. hE. MAM. AA YY = 二 Yi…Yn， 其 中 
的 Y; 随机 地 从 本 中 取 值 。 所 以 无 记忆 的 性 质 为 
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Peg xn = Iro, |z) (1. 4. 39) 


一 个 点 对 点 的 信道 概率 P(y|z) 组 成 一 个 2Xd 的 随机 矩阵 。 一 个 无 记忆 的 信道 是 对 称 的 ， 
当 矩 阵 的 行 是 其 他 行 的 置换 ， 当 列 也 是 其 他 列 的 置换 时 ,和气 阵 是 双重 对 称 的 。 可 靠 传输 速 
率 和 信道 容量 的 定义 是 固定 的 。 无 记忆 二 进 制 信道 的 容量 在 图 1-8 中 展示 。 
定理 1. 4.26 一 个 无 记忆 的 对 称 信 道 的 容量 为 

C < logg — h( po s*** spra) (1. 4. 40) 
其 中 (加 ，…，z 加 -1) 是 矩阵 的 行 。 双 重 扒 成 信道 可 以 实现 相等 性 ， 最 大 化 随机 编码 有 独立 
从 Ji 取 值 的 同 分 布 的 符号 Vi， 其 概率 为 1/q。 
证 明 证 明 采 用 二 进 制 情况 ， 利用 ICX: Y, J=ACY,) RCY, | X,)<logg—h(Y, | Xa) {A 
是 在 对 称 的 情形 中 
ACY, |X.) =— 2 P(X; = x)P(y|x)logP(y|x) 
(1. 4. 41) 
二 一 DPCX = = x) 2 logp: = h(pos** ,pei1) 


而 且 ， 如 果 和 矩阵 的 列 是 其 他 列 的 置换 ， RAEE logg。 实 际 上 ， 采用 随机 编码 PY=y)= 
Sex, = 2)P(y|xz) = TDP ola). Pole) 取 自 信道 矩阵 的 列 ， 它 不 取决 于 y. 


工 一 0 


所 以 ，P(Y 王 y) 不 取决 于 均匀 分 布 y€ 1。 口 
备注 1. 4. 27 (a) 26] 1.4.24, 1.4.25 Als 1.4.6, 1.4.15, 
1.4.17 采用 了 随机 编码 下 ， 当 N->ce 时 ，E->0。 这 不 仅 保 证 了 一 个 优 
良 的 非 随机 编码 一 一 当 N>coft, RMX E BF 0( 参 见 定理 1. 本 11 
GD)， 而 且 几 乎 所 有 的 编码 都 是 渐 近 最 优 的 。 实 际 上 ， 由 于 定理 
1.4.11Gi)p=1—VE, Pe(F)<VE)>1—VE>1, 4 N 一 < 时。 但 
是 ， 这 对 找到 一 个 好 的 编码 没有 帮助 : 构造 一 个 好 的 编码 是 信息 论 中 j 
具有 挑战 性 的 工作 ， 我 们 将 会 在 后 面 回 到 这 个 问题 。 4 
举例 1. 4. 28 比特 通过 信道 传输 。 一 个 概率 为 大 的 比特 可 能 会 被 改变 ， 图 1-8 

一 个 概率 为 的 比特 可 能 会 被 忽略 。 连 续 比 特 是 独立 的 。 计 算 信道 的 最 优 编码 和 容量 。 

解答 “信道 矩阵 是 2X3 的 


i C(p) 


À i ee 
TAT BR, PRAIA A. A. RER ACY | XE 
hl —A— podsp) =— (1 —-A—p) log —A— pz) —Aloga — plogy 
这 与 输入 符号 X 的 分 布 无 关 。 
所 以 ， 当 hh(Y) 最 大 化 时 ，IC(X; Y) 也 最 大 化 ， 如 果 py(O=p, py=q. MBA 
h(Y) =— ulogu — plogp — glogg 
ERE p 二 gq 二 (1 一 1)/2( 通 过 注水 法 ) 时 是 最 大 的 ， 即 px(0)= px) =1/2 时 。 容 量 用 下 
面 的 表达 式 表 示 : 


40 — p log H+ (1—a = p)log(1 —a — p) + Aloga 


ees) ee 9 
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举例 1. 4. 29 (a) (数据 处 理 定理 ) 考 虑 到 两 个 连续 的 独立 信道 。 在 信道 1 中 传输 一 个 随机 
变量 X， 在 YY 中 接收 。 接 着 在 信道 2 中 传输 并 在 Z 中 接收 ， 证 明 
I(X:Z) < TIX:Y) 
所 以 在 第 二 个 信道 中 的 进一步 处 理 只 能 减少 相互 的 信息 量 。 
信道 独立 意味 着 ， 给 定 Y， 随 机 变量 入 和 2 条 件 独立 ， 可 以 推断 出 
ACX5Z|Y) = hACX|Y) +A(Z|Y) 
以 及 
h(X,Y,Z) +h(Z) = h(X,Z) +h(Y,Z) 
ELX: ZIYI A ACK|Y)+ACZ|Y)—ACX, Z|Y), THARAI 
XZY = XY) «ICD 
那么 在 数据 处 理 不 等 式 中 ， 不 等 式 T(X: DANX: 了 ) 成 立 吗 ? 
(b) 离散 时 间 信 道 的 输入 输出 在 符号 集中 表示 出 来 ， 这 个 字符 集 的 字母 是 整数 除 上 确 
定 7 的 余数 。 传 输 的 字母 [zj] 以 概率 p; 作为 [j 十 Z| 被 接收 ， 在 这 里 工 和 j 以 及 [cj] 表 示 为 < 
除 r 的 余数 。 计 算出 信道 容量 。 
解答 (a) 给 定 Y， 随 机 变量 X 和 2 是 条 件 独立 的 。 因 此 
ARIORA NY SK IZ) 
并 且 
TO = h(X) —hA(X|Y) > ACX) — A(X |Z) = CX: Z) 
给 定 Z， 当 且 仅 当 X 和 了 条 件 独 立时 ， 等 式 是 成 立 的 ， 即 如 果 第 三 信道 是 无 误差 的 (Y， 
2Z)PZ 是 一 一 对 应 的 或 者 说 第 一 信道 是 安全 带 噪 的 ， 即 X，Y 是 独立 的 。 
(b) 信道 矩阵 的 每 行 都 是 其 他 行 的 置换 ， 因 此 ACY |X) =hC pos o> pid FFARR RMF 
pxo H pxG@)=1/r it, ARK, RH, 
C = logr — WC pos re sp) 加 
举例 1.4. 30 求 有 nn 个 完全 相同 的 级 联 独 立 二 进 制 对 称 信 道 (MBSC) 的 错误 率 ， 每 一 级 的 
错误 率 是 0 二 p 二 1( 如 图 1-9 所 示 ) 。 


证 明 级 联 容量 在 7->ce 时 趋向 于 0。 
解答 ”有 着 n 个 级 联 信道 的 信道 参数 是 JI"， 这 里 
re ep 
Dl 
计算 特征 向 量 / 值 导出 
< yfi taap td yy 
ari eee Diet | 
EMRE RE 1/20—-1—2p)"), MRO<p<1, M 收敛 于 
1/2 1/2 
on 
并 且 信道 容量 达到 
1—h(1/251/2) =1—1 = 0 


如 果 p=0 或 者 1， 那 么 信道 是 无 差错 的 ， 且 C 皇 1。 口 
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举例 1.4.31 考虑 两 个 独立 MBC， 它 们 的 容量 是 C1 ，C，。 证 明 或 者 提供 一 个 相 类 似 的 例 
F, 使 下 面 每 一 个 关于 混合 信道 容量 C 的 要 求 成 为 规定 。 

(a) 如 果 信 道 是 连续 的 ， 并 且 信 道 的 输出 并 没有 进行 任何 编码 地 进入 另 一 个 信道 ， 那 
= C 

(b) 假设 信道 是 并 行使 用 的 ， 换 向 话 说 就 是 在 每 一 秒 中 ， 一 个 符号 (来 自 于 它 的 输入 
字母 中 ) 在 信道 1 中 传输 ， 下 一 个 符号 在 信道 2 中 传输 ; 因此 每 个 信道 每 秒 发 送 1 个 符号 ， 
那么 C=C, +C. 

(c) 如 果 信 道 拥 有 同样 的 输入 符号 集 ,， 而 且 在 每 一 秒 中 ， 都 会 选择 一 个 符号 ， 并 且 同 
时 在 两 个 信道 上 发 送 ， 那 么 C=max[C,, C]. 

(d) 如 果 信道 i=1, 2H, LEBEA 
I, ] 


上 = 
0 M 


ABA Cw 2°=29 十 22 给 定 。 对 于 哪 种 操作 的 模式 ， 这 是 一 致 的 ? 
解答 (a) 





Ee tf > 
就 像 在 举例 1. 4. 29a 中 一 样 ， 
LX eC = ICBMs TCX: Z) Sd GY 2) 
因此 
C= supI(X:Z) < supI(X:Y) = C, 
by by 
类 似 地 
C= supl (Y: Z) = C, 
by 
Bl C<min[LC,，C;]。 也 许 会 出 现 一 个 严格 不 等 式 ; MIE, 1/2), FFAS 
= ô L= so 
chi ~ | | 加- | | 
ò EA ô 下 一 人 


以 及 

TEE Fe prs 

2 | 20-8 (-—6d?+e& 
EX, 1/2>2811—8) >ò, 
C = C, =1—h(8,1— 8) 

以 及 

C 三 1 一 (28C 一 0 二 20 一 0)EeC 
这 是 因为 hl(e，1 一 e) 在 e€[0，1/2] 上 严格 递增 。 

(b) 


nl 
为 —> | fie | > » 
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G =. sup ICX: rA CY, Yo) 


POX, Xa) 
但 是 
KO, Core. CoO Sap = AO Sp Le at AG ee al D>. Cop. 
< ACY) +ACY,) — ACY, | X1) —hCY2 |X) 
= 1(X,:Y,) + I(X,:Y,) 
4AM4 Xi, X 相互 独立 时 ， 等 号 成 立 。 因 此 C=C+C,, HE Pex, x, 的 最 大 值 是 Px, 
X px, » 这 里 ， px, 和 px, 都 是 I(X1: YOA IX: Yz) 最 大 时 的 值 。 


(ce) 
eh 
A 
Xx 
~ 
se 
在 这 里 ， 
C = supI(X:(Y,:Y;)) 
Px 
并 且 


Ke A OPS eR te ht Aes 
> h(X) — min A(X |Y;) = min 1(X:Y;) 
所 以 ，C 宇 max[ Cl，CG;]。 可 能 产生 一 个 严格 的 不 等 式 : 参照 在 (a) 中 举 的 例子 。 这 里 ，C: 三 
7, FFB, > 
ROL OOO =A Ks YH OG LO 
= hA(Y,,Y;) —h(Y, |X) —h(Y¥, |X) 
= h(Y,,Y,) — 2h (8,1 — 8) 
如 果 我 们 令 px) =px)=1/2, HBA 
(Yi :Y:) = (0,0) 的 概率 为 L(1 一 6)2 +8 ]/2 
(YiyYyz) = 1,1) 的 概率 为 L(1 一 9)2 +8 ]/2 
(Yi Yz) (1,0) 的 概率 为 BCL — 6) 
(Yi Y), = (0,1) 的 概率 为 6(1 一 6) 
且 
ACY, .Y¥2) = 1 +AA —6),1— 2001 —6)) 
并 且 
ICY: ,¥2.):X) = 1 +h — S), 1—28 — 6)) — 2h(8,1— 8) 
>1—-h(6,1—8) =C, 
ru, C=C, i=l, 2 
(d) 


x [mn | — r 
A 


> X: X MAX, 一 
A y 
% = 
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” 它 与 (0) 的 不 同 之 处 在 于 每 一 秒 只 有 一 个 符号 被 发 送 到 信道 1 或 信道 2。 如 果 一 个 给 定 的 符 


号 通过 某 个 特殊 的 通道 发 送 ， 我 们 固定 其 概率 为 a 和 1 一 a， MA: 
ICX:Y) = hla l —a) Hal (XX Y + A —@) ICX: ¥2) (1. 4. 42) 
XE, IX: YY=ACY)—ACY|X), HP 


h(Y) =— Dapy, (y)logapy, (y) — >) A — a) py, (y)log(1 — a) py, (y) 
J 2 


= — aloga — (1— a) log(1 — a) + ah (Y1) + A — oh(Y;) 
且 


h(Y |X) 三 一 Dehx,y, (x,y) logpy, | x, (y|a) — Be —a) px, (y|x)logpy, | x, (|x) 


= ah (Yı |X) + —adh(Y, | X2) 

证 明了 式 (1. 4.42)。 这 就 产生 了 

C= max[h (asl—a) +eC; + 1 —a)C:] 
下 式 给 出 了 最 大 值 

a = 25/(2% +2%),1—a@ = 2% / (2% + 2%) 
E C=log(2% +22), 口 
举例 1.4. 32 一 名 间谍 按 下 述 方式 与 他 的 联系 人 通信 。 每 个 小 时 中 ， 要 么 他 不 打 电 话 ， 要 
么 他 打 电 话 并 只 允许 电话 响 一 定 的 次 数 一 一 不 多 于 N 次 ， 因 为 害怕 被 侦察 。 他 的 联系 人 
不 接听 ， 只 记录 他 的 电话 是 否 响 起 ， 并 记录 响 铃 次 数 。 由 于 电话 系统 的 不 足 ， 来 电 也 许 不 
能 实时 连接 ; 能 够 正常 连接 的 概率 为 志 ， 其 中 0 二 p 二 1， 且 在 不 同 通话 中 是 独立 的 。 但 是 
间谍 不 知道 哪个 电话 连通 了 。 如 果 连 接 成 功 ， 那 么 电话 号 码 就 准确 地 传递 出 去 。 没 有 打 电 
话 时 ， 间 谍 与 另 一 个 用 户 连 接 失败 的 概率 可 以 忽略 不 计 。 写 出 这 个 信道 的 信道 矩阵 ， 且 详 
细 地 计算 出 它 的 信道 容量 。 在 N 的 条 件 下 确定 pp， 在 最 优 编码 的 同时 ， 使 间谍 总 能 够 接 通 
电话 。 
解答 ”信道 的 字母 表 为 {0，1,，…，N}， 其 中 0 一 未 响 铃 (一 个 小 时 内 )， 且 jSl~)j, (Fine 
阵 是 P(010)=1,，P(0| 广 =1 一 p,， PG|j)=p, 1XSJXN, 而 且 h(Y|X)= 一 gq(plogp 十 (1 一 
p)log(1 一 p))， 其 中 gq 二 px(X 宇 1)。 此 外 ， 当 下 式 成 立时 ， 给 出 的 g 使 h(Y) 达 到 最 大 值 


py(0) = 1— pq,py(k) = ae <k<N 


使 I(X: YY=ACY)—hACY |X) BGR AA, Wg 引出 pU— pd?’ XA —pqg)=paq/N, RE 


Am min( 5 (1+5 t) y) 


1 1 
条 件 9 一 1 等 价 于 logN>—— logd- p), M N>G— iz. 


1.5 PMARREER 
定义 1. 5. 1 假设 随机 变量 X 存在 概率 密度 (PDF)p(x),，xE€ RR”: 
P(X € A) = | p(x)dx 
对 于 任何 (可 测 ) 集 合 ACR", HP p(x)>0, xER", àf dxp(x)=1, WIR han OO 
定义 为 
haig XO) =— | p(xrlogp (x) dx {1 5 1) 
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假设 积分 绝对 可 积 。 在 离散 的 情况 中 ，haa(X) 可 被 认为 是 概率 密度 的 一 个 函数 p: ER" 
RR+ 二 [0，co)。 区 别 在 于 han(XX) 可 以 为 负 ， 例 如 对 于 在 [0，aj]j 上 的 均匀 分 布 ， 其 中 a 过 1。 
( 当 xE 及 时， 我 们 将 x 写成 xz。) 微 分 炉 的 相对 焙 、 联 合 仿 和 条 件 微 分 炉 都 可 以 类 似 于 离散 
的 情况 进行 定义 : 


REAA SR I O [ecoog i (1. 5. 2) 
han (X,Y) = — [prx y) ET ME e TS T (1.5.3) 


hae X |Y) — — | Pay Ges y)logpx |x Cx|y) dxdy ae hai X,Y) — hanQ) C1. 5; 4) 


同样 假设 积分 绝对 可 积 。 在 这 里 ，px,y 是 联合 概率 密度 ，px1y 是 条 件 概 率 密 度 (条 件 分 布 
的 PDF)。 所 以 ， 当 我 们 清楚 在 讨论 哪 种 焙 时 我 们 会 忽略 下 标 dif。 定 理 1.2.3(b)(c)、 
1. 2. 12 和 1. 2. 18 同样 适用 于 微分 炉 ， 证 明 完 全 类 似 ， 在 这 里 就 不 再 重复 。 

备注 1.5.2 令 0<z<1l, 那么 z 可 以 被 写成 和 >) a2", HH a, (=a,(2)) SF 0 R 1. 


对 于 “大 多 数 ”z 来 说 序列 不 会 收敛 到 有 限 和 (也 就 是 说 ， 存 在 无 数 多 个 nn 使 得 a, 二 1; E 
规 的 说 法 是 对 于 zE(0，1) 使 无 数 的 a, (2) =1 的 集合 ， 它 的 (Lebesgue) 测 度 等 于 I. A 
此 ， 如 果 我 们 想 通过 二 进 制 数字 去 “解码 ”z， 我 们 需要 无 限 长 的 码 字 。 换 句 话 说， 对 于 
在 0 委 X 委 1 上 均匀 分 布 的 变量 X， 它 的 一 个 典型 值 需要 无 限 多 比特 对 它 进 行 “ 精 确 ” 描 
述 。 在 一 般 情况 下 当 存 在 PDF fx(z) 我 们 很 容易 得 到 相同 结论 。 

然而 ， 如 果 我 们 希望 精确 地 用 前 个 二 进 制 数字 代表 随机 变量 X 的 输出 ， 那 么 我 们 平 
均 需 要 nn 十 h(X) 比 特 ， 其 中 h(X) 是 X HARM. MOM AEA AR, EAE 
一 oo。 由 于 h(X) 可 以 取 正 取 人 负 ，n 十 h( 义 ) 可 以 大 于 或 小 于 n。 在 离散 情况 下 ， 焙 具有 平移 
和 伸缩 不 变性 ， 因 为 它 只 取决 于 概率 pis > Pos 不 取决 于 随机 变量 的 值 。 然 而 ,微分 
炉 有 具有 平移 不 变性 但 不 具有 伸缩 不 变性 ， 从 下 面 恒等式 中 可 以 看 出 来 (参见 定理 1. 5. 7) 

h(aX 十 = h(X) +log|a| 

SR MAA XT HH. EI Kullback-Leibler 距离 D(p || go) 具有 伸缩 不 变性 。 
举例 1.5.3 #RAO<r<e ! 上 的 一 个 PDF， 有 


f,(2) = C, 
x 


oo EM 
(—Inz)™*’ 
AR Z Hh th A(X) =— co, 
解答 ”经 y=—lnr 替换 后 ， 我 们 得 到 


if 1 pe a dalih 
| pr yds = r 
Pru, C.=r. w#E-2#, AAA z=In(—Inz) 


wae 


f In(— Inz) dx = | conde as Y 
0 0 


a (—Inz)™! 


i sl 


所 以 ， 
h(X) = = | f-(x)Inf,(x)de 


= [rac ieee eee Dist nade 


= 一 mr 一 | (mrt + BOE) ae 


(一 lnz) 王 ! 


[ 西 ] 
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对 于 0 过 ”和 1， 第 二 项 是 无 穷 的 ， 其 他 两 项 是 有 限 的 。 口 
定理 1.5.4 X=(X,, ome, Xa) 一 NG C) 是 多 变量 正 态 分 布 向 量 ， 均值 u= (jn， ey pads 
协 方差 矩阵 C 一 (0 Bp EX;=p;> E(X; DCX; pp) = Ci = Cio IS; Jed ARA 





OO 于 log[(2xe)*detC] (1.5. 5) 
证 明 PDF px (x) EÈ 





plx) = 
然后 h(X) 有 如 下 形式 
=f ap) = J log( (2m) detC) 2k log E(x 一 ACT (x—p)) )dx 


1 1 vate 
a d| ye eC æ) x E R 


= "8 SECS) Ca, — p) (2) — p) (Cg )+ log (2n)4detC) 
= BES (C) Bz — p) Cz — ps) + Flog((2n)4detC) 
= EES) CC + Flog((2n)4detC) 

ij 


= doge +. T log((2n)4detC) = log( C2ne) detC) g 
定理 1.5.5 对 于 均值 为 ， 协 方差 给 阵 为 C=(C,) O C BEX: u) X, —p I= Cy) 
的 随机 变量 向 量 X=(X,, =, XDA 

A(X) < Flog( (2re)’ detC) (1. 5. 6) 


当 且 仅 当 XX 符合 多 变量 正 态 分 布 时 等 号 成 立 。 
证 明 POE XH PDF, PORSA p WARREN C 的 正 态 分 布 密度 。 为 了 不 失 
一 般 性 ， 假 设 “一 0。 观察 到 log 思 (2 除去 多 余 的 常数 项 ， 是 zx 的 二 次 型 。 此 外 ， 对 于 每 个 


单项 式 LiL; s faxo (x) xx; = Jew waz, =C; =Ç; ’ 二 次 型 logp® (x) 的 矩 相 等 。 我 们 有 








0 委 D(p || 加 )( 通 过 Gibbs 不 等 式 ) = |acolog Be P 


== Ap) — | px) log" (x) dx == h(p) — [P © logp dx 


(通过 上 面 的 备注 ) =—h(p) +h) 
当 且 仅 当 2 一 如 时 等 号 成 立 。 口 
举例 1.5.6 (a) 证 明 在 给 定 均值 的 情况 下 ， 对 于 在 L0，ce) 上 分 布 的 PDF 中 ， 指 数 分 布 
ALR AMMA; 在 给 定 方差 的 情况 下 ， 对 于 在 尽 上 分 布 的 PDF 中 ， 正 态 分 布 能 最 大 化 
BSP, HEX=(X,, +, Xa) 是 一 个 了 X 王 0 HMMA, EX,X,=C,, 1<i, jd。 
那么 hay (X)<Flog((2ne)4det(Cy)), ¥ARYX~NO, OFS RH, 


Cb) 证 明 对 于 取 值 不 超过 m NH MALE SH IRA CX) <logm(K RAC. 2.7)) 在 当 菜 一 
离散 随机 变量 X 在 Z+ 上 取 无 限 多 值 时 存在 下 面 的 推广 


TAM) 有 到 log(2re( VarX + 5)) 
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证 明 (a) 对 于 Gauss 的 情况 ， 参 见 定理 1. 5.5。 对 于 指数 分 布 的 情况 ， 通 过 Gibbs 定理 ， 
我 们 知道 对 于 任意 PDF 为 f(y) 的 随机 变量 Y 有 | Food logl Fade /ldy > ome 


h(Y) < (AEYloge — loga) = h(Exp(A)) 
4AM Y~ExpQ), 4 二 (BY) “时 等 号 成 立 。 
(b) 设 X 是 一 个 离散 随机 变量 ,满足 PX =i) Sp, i 二 1，2，……， 随 机 变量 UU 独立 于 
Xo» 并 在 [0， 1] 上 均匀 分 布 。 w X=X,+U. 对 于 满足 VarX= VarY 的 正 态 随 机 变量 Y, 


1 
kat) nr E Flog 2ne Vary = Flog (2xe(Varx + 3) 口 


EX 的 值 对 h(X) 没 有 影响 ， 就 像 下 面 的 定理 所 说 的 那样 。 
定理 1. 5. 7 (a) MPMEBRR, PATAH yER, 
A(X +y) = h(X) 
h(aX) = h(X) 十 logla|, 对 所 有 的 a€ R 
此 外 ， 如 果 A 二 (A;) 是 一 个 dXd HARB, FRGH ER XE R’—Ax+ yER’. 
(c) 那么 

h(AX + y) = hCX) + log| detA | Te Os C3) 
证 明 此 证 明 十 分 简单 ， 留 作 读 者 练习 。 O 
举例 1.5.8 (farts BPRSA)NS 为 有 限 集 ， 卫 = (ICz，y)，z，yES) 是 统计 核 
CEE, A T a yE Sr ers y0, Sa, wW=1; RUB, Wr, ye 


yes 


Markov 链 的 转移 概率 。) 证 明 DCN || DDC || po), 其 中 pM(y)= >) p(x) Caz, 


IES 


y)，yES( 也 就 是 说 ， 同 时 对 两 个 概率 分 布 采用 Markov 算 子 不 能 增加 相对 粒 ) 。 

将 这 一 事实 推广 到 微分 粹 的 情况 。 
解答 在 离散 的 情况 下 开 由 随机 矩阵 CITCz，y)) 定 义 。 通 过 log-sum 不 等 式 ( 参 见 PSE I, 
426 页 )， 对 于 所 有 的 


È pi Cw Hw,y) 


< Jp: (@) (2, y)log pi (x) Itsy) 


Crime Oe. 
er Sp. OMe f Bs SoH) 


pila) 


= = Dips (2) Ia, y)log Fy > 


对 y 作 加 法 我 们 得 到 
Que (wT ws y) 


Dill ll pD = 3) Dips ON, yog Ye,» 
sy 





<2 Zp (Ce, y)log BT 一 = D(pr || 22 


在 连续 的 情况 中 ， 如 果 我 们 用 积分 赫 换 相 加 ， 类 似 的 不 等 式 也 可 以 得 到 。 口 
微分 焙 的 概念 能 够 在 许多 意 想 不 到 的 情况 下 发 挥 作用 。 在 这 里 我 们 考虑 正定 抢 阵 的 行列 
式 及 其 比例 的 不 等 式 (参见 文 献 L[39]、[36])。 已 知 一 个 随机 向 量 X= CX), ov, XW) AY EAT EH 


MC=(C, ) 是 正定 的 ， 即 对 于 任 一 复 向 量 y= Os e ya), WERO, COD= X Ciy:y; 
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可 写成 

DEX, Ds =B| x- py | 0 
相反 地 ， 对 于 任 一 正定 矩阵 C 都 存在 一 个 协 方差 矩阵 为 C 的 PDF， 例 如 一 个 多 变量 正 态 
分 布 ( 如 果 C 不 是 严格 正定 的 话 ， 则 为 退化 概率 分 布 ) 。 
举例 1. 5.9 如 果 C 是 正定 的 ， 那 么 log[detC] 在 C LAUH. 
解答 ” 取 两 个 正定 矩阵 CW 和 C”, ACLO, 1]. RX 和 XX 是 两 个 多 变量 正 态 分 布 向 
E, X°~N(O, C°). 根据 定理 1.2.18, 设 X 二 X*， 其 中 随机 变量 A 各 以 概率 4X 和 1 一 4 
取 0 和 1， 并且 与 X” ”和 XX 独立。 那么 随机 变量 X 有 协 方差 C 二 4C™ 十 (1 一 2)C”，X 不 
必 是 正 态 分 布 。 所 以 


Flog(2ne)’ a Flogldet(ac® +0 —-vC”)] 


log((2ne)4detC) > hCX) (ih Æ # 1.5.5) 
(X| A) Che # 1.2. k 
log((2ne)4detC ) + 1 z —Alog((2ne)4detC” ) 


wl» = role w 





= [log (2ne)! + Alog(detC ) + (1 —A)log(detC ) ] 口 


这 一 性 质 通常 被 称 作 Ky Fan 不 等 式 ， 在 1950 年 被 第 一 次 证 明 ， 当 时 使 用 了 复杂 得 多 
的 方法 。 男 一 个 著名 的 不 等 式 源 于 Hadamard, 
举例 1. 5. 10 F-E EE C=(C;), 


detC < [[C; (1. 5. 8) 
SARS C 是 对 角 阵 时 等 号 成 立 。 
es WM X=(X,, ++, X)~NO, ©), 可 得 
T logl (2xe)4detC] = =K 25h (X, = 2 Flog(2neCs ) 
SAMY XX. ees X, 是 独立 的 ， 等 式 成 立 ， 即 C 是 对 角 的 。 口 


下 面 我 们 讨论 所 谓 的 炉 - 功 率 不 等 式 (EPI)。 存 在 EPI 的 情况 是 相当 有 趣 的 : 它 考 虑 了 
信息 论 中 一 个 缺少 简单 解释 的 难 解 事实 。 它 由 Shannon 提出 ,文献 [141] 包 含 了 这 种 不 等 
式 的 一 个 简单 论证 。 然 而 ， 第 一 个 关于 EPI 的 严格 证 明 差 不 多 在 20 年 之 后 才 被 提出 ,但 
在 一 些 限制 的 条 件 下 ， 它 仍然 是 需要 努力 改进 的 主题 。Shannon 使 用 EPI 是 为 了 在 Gauss 
信道 中 ， 限 制 有 连续 噪声 加 性 信道 的 容量 ; 详 见 第 4 章 。 同 时 EPI 和 焙 的 单调 性 这 个 重要 
性 质 有 关系 ， 其 中 一 个 例子 是 后 面 的 定理 1. 5. 15。 

关于 EPI 的 现存 证 明 是 不 容易 理解 的 ， 可 以 阅读 文献 [82] 中 那个 更 易 懂 的 证 明 。 
定理 1.5. 11 ( 粹 -功率 不 等 式 ) 对 于 概率 分 布 函 数 分 别 为 fx(z) 和 frlr), cER' 的 两 个 
独立 随机 变量 X 和 了 ， 

h(X +Y) >h(X' +Y’) (1.5.9) 
KP X', Y RRALAMPMES, BH hA(X)=ACX'), ACY)=ACY’). 
在 d-# EN tH UE B-ARRSAAWTRALGA. 
对 于 概率 分 布 函 数 分 别 为 fxr), fr), LER 的 两 个 独立 随机 变量 X，Y， 有 


e Xind = ed + eona EE 5. 10) 
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很 容易 看 出 当 d= 二 1 时 ， 式 (1.5.9) 和 式 (1.5.10) 是 相等 的 。 通 常情 况 下 ， 不 等 式 
(1. 5. 9) 通 过 利用 下 面 的 式 (1. 5. 13) 可 以 得 到 式 (1. 5.10)， 其 中 式 (1. 5.13) 可 以 独立 地 确 
定 。 注 意 到 在 离散 随机 变量 的 情况 下 ， 不 等 式 (1. 5. 10) 不 一 定 都 是 正确 的 。 考 虑 下 面 的 倒 
F: & X~Y 是 独立 的 有 是 Px(0)= 一 176，PxQ) 二 2/3，Px(2) 二 1/6。 那 么 


h(X) = h(Y) 三 ljn6 3 In4,h(X +Y) = ln36 36108 3g nls 


ZAR, POY = OO + Oh 如果,，Y 是 非 随机 常量 , M ACK) =ACY) =ACX+Y) = 
0， 这 明显 不 满足 EPI。 由 此 我 们 推断 出 概率 分 布 函数 的 存在 是 必要 条 件 且 不 能 被 省 略 。 
在 一 个 不 同形 式 中 ，EPI 可 以 扩展 到 离散 型 随机 变量 , 但 是 现在 我 们 不 讨论 这 个 理论 .。 
AMAIR ELK hX =E log p(X); WRA. 5. 10) 会 有 如 下 表现 形式 OOP > 
Quo ld 42rd d 
Ni -TNRANS AA ER EE AER BH, EAE JLA A Td FE 
很 重要 。 为 此 我 们 提出 了 下 面 著名 的 Brunn-Minkowski 定理 ， 它 是 EPI 的 一 个 特殊 情况 。 
根据 定义 A 十 g 二 A， 定 义 两 个 集合 的 集 总 和 为 
A, + Az = (zi 十 ziszEAz € Az} 
定理 1.5.12 (Brunn-Minkowski) 
(a) A A, A: 为 一 个 可 测 集 ， 则 体积 满足 
V (A, +A,)4 > V (A) +V CA, 4 rt) 
(b) AARAA, A: 的 集 总 和 体积 大 于 两 个 球 B, B 的 集 总 和 体积 ,其 中 B, B 
分 别 和 A,, A, 有 相同 的 体积 : 
V(A, + Az) > V(B,; + B,) C1550) 
其 中 Bi, B: 是 球体 上 且 满 足 V(A1)==V(B1), VIA) =VCB). 
举例 1.5.13 AC, CG ALR dXd £#H, N 
[det(C, + C2) 1 > [detC J"? + [detC, J el. 5503) 
解答 X,~NO, C), X~NO, C), WA X,+X.~NCOO, CHC). RHR- 
不 等 式 可 得 
(2re) Cdet(C, + C,)) = eh t%/4 
> et Xi/d e/a 一 (2xe) (detC, )'/4 + (2xe) (detC, )'/4 =) 
举例 1.5.14 一 个 ToplitznXn RC 有 如 下 性 质 : w#Rl|i—j|=|r—s|, MC,=C,. 
AGS=CU, 2, =, 上 ) 表 示 由 行 和 列 l, =, k 构造 的 Toplitz 正定 给 阵 的 主子 式 。 证 明 
对 于 |C| 二 detC， 有 





LEN NO Me | (1. 5. 14) 
|1C, 1/1C,-1| 随 着 nn 增加 而 递减 ， 且 
tim HEL = timc, |” (1. 5. 15) 
noo nl -00 


解答 A(X, X2, Br aS X,)~N(O, Gye 因为 

hX: |X oe Xr) = hC Ker | Kaye XS h Keg | Xa Xd) 
则 数量 ACK, |X ov, KOBER k MTER, A SES AY LAM T6plitz 假定 中 得 到 ， 不 
SAT VANS AE wD GK TS SB), FA. 我 们 利用 1. 6 节 中 问题 1. 8b 的 
结果 ， 得 到 运行 平均 值 会 随 弟 减 。 


Th (Xi se XK) = — JACK, |X aX 


1 
ko 


k 
i= 


[ 92 | 
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AC. 5. 14) 从 下 式 得 到 
BCR he S + log| (2ne)* |C, |] 


因为 h(X, |XX,-!，…，Xi) 是 一 个 递减 序列 ， 所 以 它 会 存在 一 个 极限 。 因 此 ， 利 用 Cesaro 

均值 定理 
| 
nco n neo n <4 ice 

将 这 个 转换 为 行列 式 形 式 ， 可 以 得 到 式 (1. 5.15). 口 
炉 - 功 率 不 等 式 可 以 扩展 到 几 个 被 加 数 的 情况 下 


n 
ehate tX, D/d >> > eM 
=1 


i= 


但 是 更 有 趣 的 是 ， 下 面 的 中 间 不 等 式 是 正确 的 。 令 Xi ，X ，…，X,+1 是 独立 同 分 布 平方 
可 积 的 随机 变量 。 则 





ntl 
Et td >> Set Card (1. 5. 16) 
j=l 


正如 我 们 已 知 的 ， 当 存在 如 下 限制 条 件 时 : 考虑 随机 变量 的 方差 受 限 于 上 式 的 情况 ， 
当 随 机 变量 为 Gauss NRK. RTA Tea. RAE 
心 极 限定 理 上 每 一 次 求 和 都 会 使 焙 增 加 的 证 明 。 
定理 1.5215 AX, X25 ”为 独立 同 分 布 平方 可 积 的 随机 变量 ， 有 EX;=0, VarX;= 
1。 则 
K =e A Tn 
h(i )< A(T (1.5.17) 


1.6 本 章 附 加 问题 


问题 1.1 FS, 分 别 为 大 小 是 m 和 9g 的 符号 集 。 如 果 f: D> D2. 是 可 译 码 则 意味 着 
什么 ? 从 Kraft 和 Gibbs 不 等 式 推断 出 ， 如 果 以 概率 pi, s pp, AD 中 取出 字符 ， 则 期 
望 的 字 长 度 至 少 为 h(pi，…，p,)/logg。 

寻找 一 个 可 译 二 元 码 ， 它 包含 码 字 011，0111，01111，11111， 且 有 另外 三 个 长 度 为 
2 的 码 字 。 如 何 检验 你 得 到 的 码 是 可 译 的 ? 
解答 JAS =U ， 其 中 所 有 数字 字符 串 集合 都 来 自 于 。 我 们 发 送 的 一 个 信息 zizz… 


In ED HEA fla) flan) fla) E32 的 级 联 ， 即 将 扩展 为 一 个 函数 fs Si SSD. aN 
F 是 单 射 的 话 ， 就 说 这 个 码 是 可 译 的 。 
Kraft 不 等 式 说 明 当 且 仅 当 


Ms 


gi<l (1. 6.1) 


码 字 长 为 Six es Sm 的 前 缀 码 三: >? 是 存在 的 。 
事实 上 ， 每 一 个 可 译 码 都 满足 这 个 不 等 式 。 
Gibbs 不 等 式 说 明 ， 如 果 pi a 人 Pn AÊ Se D, 是 两 个 概率 分 布 ， 则 


Alpis rpa) =— >) pilogp: <— >) pilog ĝ: (1. 6. 2) 
i=1 i=1 
当 且 仅 当 p=: 等 式 成 立 。 
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假设 是 码 字 长 为 ，…，s。 WRB, SRG /c, Hc = Sq, WRR 
Gibbs 不 等 式 可 得 : 


hp s Pa) <— >) pilog Bs = -> (— s,logg — logc) = (Dips: ) logg + (Due )loge 
利用 Kraft 不 等 式 ， eat 即 lee 可 以 得 到 
MAA FKEA DI ps 之 hlp p,)/logg 


在 例子 中 ， 另 外 的 三 个 码 字 必须 是 00，01，10( 不 可 以 使 用 11， 因 为 1s 序列 是 不 可 
译 的 )。 反 转 每 个 码 字 的 顺序 可 以 得 到 一 个 前 缀 码 ， 而 前 缀 码 是 可 译 的 ， 因 此 ， 码 是 可 
译 的 。 

总 结 得 出 ， 我 们 提出 了 Kraft 不 等 式 必要 性 的 男 一 个 证 明 。 令 s=max s, RIKA P R 
任意 字 通 过 增加 一 些 固定 的 符号 扩展 到 长 度 s WR rSn zr, CH, WHE mr 
Tyn Y 形式 的 任意 一 个 字 都 不 属于 . 称 ， 因 为 zx 是 有 前 缀 的 。 但 是 至 多 有 eT e 


的 字 。 当 在 上 总 结 时 ， 我 们 可 知 排除 在 外 的 字 总 数 是 S). BEERE 
总 数 gq:。 因 此 ， 式 (1. 6. 11) 满足 : 


¢ 20" <q E 

问题 1.2 考虑 一 个 有 mn 个 字母 的 字母 表 ， 其 中 每 个 字母 出 现 的 概率 为 1/m。 为 了 使 期 望 
码 字 长 度 (51 十 … 十 5 )/m 最 短 ， 使 用 二 元 Huffman 码 对 这 些 字 母 进行 编 码 ， 其 中 5; 表示 
字母 i 的 码 字 的 长 度 。 令 s 二 max[s;: l<i<m], iin, 是 长 度 为 4 的 码 字 数目 。 

(a) 说 明 2<n,<m, 

(b) 当 m RAT {AR A n, =m? 

(c) 依据 m 决定 y。 

(d) 证 明 n,_1 十 n, 二 m， 即 任意 两 个 码 字 长 度 最 多 相差 1 。 

Ce) A nis Mo 

Cf) 描述 对 于 一 个 理想 的 英文 字母 模型 (m 二 27) 的 码 字 长 度 ， 其 中 所 有 符号 都 是 等 概 
率 的 。 

(g) 二 元 Huffman 码 被 用 来 编码 概率 分 别 为 pl 宇 … 宇 p,, 记 0 的 符号 1，…，m， 其 中 


>， 力 二 1。 令 5i 为 最 短 码 字 的 长 度 ，s,, ARKH, HR sm s 的 最 大 和 最 小 值 ， 并 且 


找 出 得 到 它们 的 二 又 树 。 
解答 (a) 从 Huffman 码 是 树 状 结构 可 得 到 界 n, 宇 2。 更 精确 地 说 ,假定 ,二 1， 即 一 个 最 
大 长 度 的 码 字 是 独一无二 的 ， 比 如 说 是 字母 i 所 对 应 的 码 字 。 在 不 违反 无 前 级 的 条 件 下 ， 
可 以 在 最 后 修改 通 向 字母 i 长 度 为 ; 的 分 支 。 但 这 与 最 小 化 相 矛 盾 。 显 然 可 以 得 到 n <m., 
(从 下 面 所 述 可 得 n, 总 是 偶数 .) 

(b) 4 n=m 时 ,说 明 所 有 的 码 字 都 是 等 长 的 。 这 只 有 在 mx 二 2* 时 才 会 发 生 ， 在 这 种 
情况 下 s=&( 有 2: 个 叶子 的 完全 三 又 树 T,). 

(c) 通常 情况 下 

_ /logm, =a 


[log |, m 2* 
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m=} 的 情况 在 (b) 中 讨论 过 了 ， 故 我 们 现在 假定 m 隆 2。 那么 ，2* 二 m 二 2”*” ,其 中 = 二 | 
logm」。 从 观察 中 可 以 明显 得 到 概率 为 1/m 的 二 叉 树 (也 被 称 为 二 元 m-tree BAERE 
二 叉 树 T.. 但 是 包含 在 Ta P. A, s 就 是 上 式 所 表达 的 。 
(d) 事实 上 ， 当 在 均匀 分 布 /mx，…，1/m 的 情况 下 ， 树 的 分 支 的 长 度 和 最 大 值 ; 不 
可 能 相差 2 或 更 多 。 实 际 上 ， 假定 有 一 个 通 向 字母 i 的 二 又 树 分 支 B;:， 且 选 定 通 向 字母 j 
的 分 支 Mi ， 它 存在 最 大 长 度 ;。 在 传统 术语 中 ,字母 ;在 s 上 占用 且 字 母 i 在 :二 s 一 2 4 
H. RE, DXB, M 必须 合并 ， 这 就 会 产生 一 个 矛盾 。 例 如 ， 最 小 争议 的 图 形 依然 是 
不 正确 的 ， 见 图 1-10。 在 这 里 ， 概 率 为 1/m 的 顶点 i 应 该 和 概率 为 2/m 的 顶点 a 或 5 合 
并 ， 而 不 是 将 a, 5 一 块 合并 (如 图 所 示 )， 如 果 这 样 它 会 产生 一 个 概率 为 4/m 的 顶点 c。 
(e) BZ, A: O4 m=2', mtree B, 与 Ti —M. Ci) 4 mA2' 时， 我们 可 以 通过 
如 下 方法 得 到 B. HERROU T HH k=Llogm], 1<m—2'<2', Wie Te Hy m— 
2* 个 叶子 再 往 下 分 一 步 : 这 在 树 Ti+1 上 生成 了 2Cm 一 2:) 二 2m 一 2 全 ! 个 叶子 。 如 图 1-11 所 
W. MFH T 中 的 2: 一 (m 一 2*)= 二 2 个 1 一 mm 个 叶子 保持 不 变 。 因 此 ， 
na = 2 = mn; = 2m—2"", He Rk = [logm] 
Cf) 在 英语 的 例子 中 ， 在 服从 均匀 分 布 的 m= 二 27 二 16 十 11 个 符号 中 ， 我 们 有 5 个 长 度 
为 4 的 码 字 和 22 个 长 度 为 5 的 码 字 。 平 均码 长 为 
9X4+22X5 _ 130 
27 27 
(g) si 的 极 小 值 为 1( 这 很 显然 ;。s 的 极 大 值 为 [logm |， 即 满足 2’<m<2""" WIE 
Bl. Sm 的 极 大 值 为 m 一 1( 这 也 很 显然 )。s,, 的 极 小 值 为 Llog:m ]， 即 满足 2°" <m<2' 的 
AAR. 
Al 1-12 给 出 了 对 应 sı =1 Als, =m—1 的 树 。 


a 4.8 





Mma ¢ i el/m 
a byR2/m 
m 
j 2 (m-2") +t ee 
Se 图 1 图 1-12 
其 特征 如 下 : 
且 满 足以 下 条 件 
Pi > Poteet + pu > 20 ps be + pa) So 2" | Dn 
当 py == py =1/m 服从 均匀 分 布 时 ， 我 们 可 以 得 到 一 棵 最 大 化 % 和 最 小 化 sn 的 


a. 4 m=2' 时 ， 所 有 树枝 的 长 度 相 等 且 满 足 /二 logzm( 一 棵 完全 二 又 树 ); 参考 图 1-13。 
否则 ， 比 如 当 2<m<2"" 时 ， 树 中 的 第 i 层 有 2 一 m 个 叶子 ,而 第 /十 1 层 有 2m 一 
2) 个 叶子 ; 参考 图 1-14。 
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图 1-14 


实际 上 ， 通 过 Huffman 构造 树 ， 这 里 所 考虑 的 树 总 是 一 棵 完全 二 叉 树 的 子 树 ， 树 中 
的 最 短 树枝 长 度 不 会 大 于 [logsm | 而 最 长 树枝 长 度 不 会 小 于 Llogzm J . E 
问题 1.3 ”一 个 二 元 擦 除 信道 ， 其 擦 除 概率 为 旋 ， 其 离散 无 记忆 二 元 信道 (MBC) 的 信道 矩阵 为 
起 0 
0 pl = 
描述 Shannon 第 二 编码 定理 (SCT) 并 利用 该 定理 来 计算 该 信道 的 容量 。 
A Shannon SCT 指出 ， 对 于 一 个 MBC 
(容量 ) = (每 信息 符号 传送 的 最 大 信息 量 ) 
这 里 容量 是 指 所 有 可 靠 的 信息 速率 的 上 确 界 ， 等 式 的 右边 定义 为 
max I(X:Y) 


其 中 随机 变量 X A Y 分 别 表示 输入 和 输出 。 
二 元 擦 除 信道 输入 字符 为 0 或 1， 且 正确 传输 的 概率 为 1 一 p， 错 误 传输 (将 输出 记 为 x ) 
的 概率 为 p。 设 输入 随机 变量 X 取 0 的 概率 为 a， 取 1 的 概率 为 1 一 a。 则 输出 随机 变量 Y 
的 取 值 为 
PY = 0) = (1 — p)a 
P(Y=1)= (1—p)(—a) 
P(Y= *)=p 
将 Y 作为 条 件 ， 得 到 
A(XIY=0) =0 
A(X|IY= 1)=0 janam = mo 
ACX|Y = *) = hla) 


因此 ， 
容量 = max, I (X:Y) = max,[h(X) —h(X|Y) ] 
= max,[h(a) — ph (a)] = (1— p)max,h(a) = 1— p 
因为 h(a) 二 一 aloga 一 (1 一 a)log(1 一 a) 在 a 二 1/2 时 取 到 最 大 值 1， 所 以 上 式 成 立 。 fo 


问题 1.4 AX FY ABA RRMMEE, ARRIA AADF) DAA Py 和 Py。 
(a) LL AE MACK|Y), 证明 其 满足 以 下 不 等 式 
h(X|Y) < RUE 
且 给 出 等 式 成 立 的 充 要 条 件 。 
(b) 对 于 每 个 aE[0，1]， 混 合 随 机 变量 Wla) 的 PDF 形式 为 
Pwo (2) = aPy (x) + 1 — a) Pylat) 
EAM TRAM a, Wadi ARAE: 
h(W(a)) > ah (X) + 1 — oh(Y) 
(c) 4 hp, (A) # Poisson 随机 变量 Poa) sh ih, HW hp, HA>O0 上 是 一 个 非 减 函数 。 
解答 (a) 依据 定义 ， 
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h(X|Y) = hCX,Y) —hAYY) 
一 一 =2,Y = ylogP(X = z,Y 一 yy) 寺 2PY = = y)logP(Y = y) 


不 等 式 h(X|Y)<h SNF 
h(X,Y) SACX) RLY) 


且 服 从 Gibbs 不 等 式 DP: log 50. 事实 上 , Si=(z, yH 
p: = POX =2,Y = y),g9; = P(X = xz)P(Y = y) 








则 


= Be POX = 2,Y=y) 
Os DPX a¥ = Meee = POS ») 


= Y P(X = z= plogh(X = 2,¥ = y) 
Ty 
一 DP(X= 7x,Y = y)[logP(X = x) + logP(Y = y)] 


= AX +h(X) AY) 
当 X 和 了 相互 独立 时 ， 等 式 成 立 。 
Cb) 定义 随机 变量 了， 其 取 0 的 概率 为 w， 取 1 的 概率 为 1 一 a， 则 满足 分 布 为 W(a) 的 
随机 变量 Z 为 
XxX, T=0 
Y, T=1 


Z= 


根据 (a) 得 到 
h(Z|T) <A(Z) 
Fp ah(X)+1—-@h(Y), Aw hW (a))。 
(c) 注意 到 对 独立 随机 变量 X MY, ACX+Y|X)=ACY|X)=ACY), A, Bee 
据 (a)， 
ACX+Y) >ACX+Y|X) = h(Y) 
根据 这 一 事实 ， 对 于 所 有 的 丸 二 %:， 取 两 个 相互 独立 的 随机 变量 X~ Po), Y~ Poa, — 
A)» 则 
ACX+Y) SAX) BRA hp (A) Sheps) 口 
问题 1.5 通过 二 元 对 称 信 道 (MBSC)， 以 差错 概率 力 在 速率 尺 上 进行 可 靠 传 输 的 含义 是 
4? 考虑 Shannon 第 二 编码 定理 (SCT)， 计 算 MBSC 中 所 有 可 能 的 可 靠 传 输 速 率 的 上 
确 界 。 讨 论 下 列 条 件 成 立时 的 结果 : (i)p 非常 小 ; Gi p=1/2; (iii) 力 之 1/2。 
解答 ”一 个 MBSC 能 在 速率 尺 上 可 靠 传 输 ， 需 要 有 一 个 N 长 码 字 构成 的 序列 Wy，N=1， 
， 其 中 一 共有 | 2 天] 个 码 字 ， 且 差错 概率 渐 近 趋 于 零 ， 即 
ck = maxP(4 i |e 发 送 ) >0%4N—-co 


根据 SCT， 可 实现 的 信道 容量 为 sup R=max, 1(X: Y)， 即 每 个 输入 符号 所 能 传输 的 最 大 

信息 量 。 这 里 X 为 一 个 Bernoulli 随机 变量 ， 取 值 为 0 和 1 且 概 率 分 别 为 a 和 1 一 a,，a€ 

[0，1]， 而 了 为 对 应 输入 X 所 产生 的 输出 随机 变量 。 然 后 计算 互信 息 X.: Y): 
I(X:Y) = hCX) —ACK|Y) = ACY) = ACY |X) 

WE TARKA he) 1 ASE c= 1/2 时 成 立 。 当 选择 a 二 1/2， 则 错误 概率 为 pb 的 

MBSC 的 信道 容量 为 
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maxT(X:Y) = max[h(Y) —A(Y |X) ] = max[h lap + 1 — a) 一 力 )) 一 np)] 


= 1+ plogp+ (1 — p)log( — p) 

(i) 当 记 很 小 时 ， 信 道 容量 近似 为 1( 无 噪 信道 容量 ) 。 

Gi) 当 p=1/2 时 ， 信 道 容量 为 0( 信 道 无 法 使 用 ) 。 

Git) 当 p>1/2 时 ， 可 以 将 输出 符号 的 标签 交换 ， 即 将 p 和 1 一 p 对 换 ， 从 而 信道 容 
量 非 0。 oO 
问题 1.6 (i) x fre 哪个 更 大 ? 

GD 证 明 对 数 和 不 等 式 : 对 非 负 数 ai，as，…，a, bis bzs s by A 

die 
> le? (Quai )log = 
当 ai;/bi 为 常量 时 ， 等 式 成 立 。 

Gil) FRAN BRRED A BK px) Fe g(a), Z343} (Kullback-Leibler 距离 ) 并 

证 明 Gibbs 不 等 式 


《于 6- 3) 





Dipl = De @rloe(2S)>0 (1.6.4) 


q(x) 
当 对 所 有 的 工 有 PP(z) 王 q(z) 时 ， 等 式 成 立 。 
利用 式 (1.6.4)， 证 明 对 任意 正 函 数 f(zX) 和 g(x)， 以 及 任意 有 限 集合 A， 








ae > 
0 A (Dif) )log ry li 一 
TEA 
并 证 明 对 任意 概率 分 布 kt ge 
Wag Mea |p(x) 一 qz) )? (1. 6. 6) 
x 


解答 G) S r=ln r， 并 且 执 行 两 次 取 对 数 运算 可 以 得 到 不 等 式 rll., 4 r>1 时 
是 成 立 的 ， 所 以 >r. 
GD 不 失 一 般 性 地 假定 a >0 并 且 b>. BM g(z) 王 zlogz 为 严格 凸 函数 。 所 以 通过 
Jensen 不 等 式 ， 对 于 任意 的 参数 Vc: = 1 ，c 之 0， 有 以 下 不 等 式 
Dogra S20 de2;) 
选择 c; = 6; (Sa 和 x; 二 ai/b;， 我 们 可 以 得 到 





a; a; 
D> (D f) 
显然 这 是 一 个 对 数 - 和 不 等 式 。 
(iii) 存在 一 个 常数 c 二 0 使 得 
logy > ¢(1— ale 当 且 仅 当 yy 二 1 时 等 式 成 立 
id B={zx: p(x)>0}, 
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Disip = DP olog AE > >cDp(1 -L2 ) = 1 —q(B)] 0 


p(x) 


ze 


“AMY =p BRR. RA, id 


二 — fiz) 
f(A) Df), p(x) FAYE E A) 


A= gz) q(x) = 21@e A) 
4 g(A) 





然后 可 以 得 到 


SF (x log LB = FA) Dp alog LAPS 
IEA glx z€A g(A)g(z) 


= f(A) Dp alog BE + fA) lo og nae 
IEA 
cry = 


宇通 过 之 前 部 分 


f(A) 
104 > f(A)log ZA) 


通过 观察 不 难得 出 式 (1. 6. 5) 中 的 不 等 式 关 系 ， 最 后 ， 考 虑 A 一 (z: pKa). AW 


Si p(x) — q(x) | = 2[q(A) — p(A)] = 20 p(A®) 一 g(CAs*)] 





进而 可 以 得 到 
= pia) p(x) 
Dello 4p Cx)log of} TA oy TEA 


> p(A)log pA) + p(A‘)log pD 





q(A) q(A°) 
> (2log,e) [p(A) — qA)? = Leey | p(x) — q(x) | y 口 
问题 1.7 (a) ALAMO RL, FEAST MUMREU HPV, AKAWA 
h(U,V) = h(V|U) +AU) 
给 定 随机 变量 XI ，…，X,， 通 过 归纳 法 或 其 他 方法 征明 以 下 链 式 法 则 : 
A(X 1X) = SACK; |X Xa) (1. 6. 7) 
(b) 定义 -元素 子 集合 上 的 子 集 平均 ( 炉 ) 为 
hP a oe XS) | n 
S:|S|=s 
KPT CF MREIS=(51, 0, MÆLA hK) =hX » or, Xi). MRA TE 


Èi, 4 TES, i¢S HANCX;|Xs)<h(X;|X7). 
考虑 具有 如 下 形式 的 项 
ACX ss Xa) — ACK t Xia Kits Xn) 
TERA”? <A”, 
基于 hh 办 ， 进 一 步 证 明 P <A, HP R=2, e nw 


(c) 令 B>0， 并 且 定 义 
让 二 ebt Xor | (7 
= See 


HEM UP Sy >>”. 
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解答 (a) RIR WE LW 
h(V |U) = h(U,V) —hCU) = SPU = u)h(V |U = u) 


Sith ACV |U=u) ft U =u Bt V RA : 
ACV |U = u) =— DP(V = v|U = u)logP(V = v|U = u) 


链 式 法 则 (1. 6.7) 可 以 通过 对 变量 ”进行 归纳 获得 。 
Cb) 根据 链 式 法 则 
WX, 90° Xe) = ACK ys Xr) + ACK, XiX) (1. 6. 8) 
及 其 更 一 般 化 的 表达 ， 
KOXP oy WX yoy Rey aa A) ACK | Xa ee Rc Mega tee Md 
SACK HS MIKA Se, XH ACK XH KL (1. 6. 9) 
上 式 中 不 等 式 基 于 下 面 的 关系 得 出 
BCX, | Ry AS NE EA) EAR eR) 
M i=1 F] n RMAC. 6. 9) 


Krt K) < S ufin Nuns" -,X,) + Drax, |XX) 
根据 链 式 法 则 (1. 6 7) 可 知 ， 上 式 右 边 第 二 项 ( 求 和 项 ) 的 值 等 于 h(Xi，…，X,)。 进 而 可 
以 得 到 
(n— WACK, »* EP = es Ph Xi sre Kos K Xe) 
这 意味 着 h Kho KAX 
1 1 “ REXI n AITARI ure. Se) 
—h(X sX, ) se? ee ee (1. 6. 10) 
一 般 来 说 ， 考 虑 在 {1，…，n} 中 选取 一 个 具有 上 个 元 素 的 子 集 S。 记 S\ i} Ww Sti}, 
“Gar Sas RN TES 
cs ao 
FALX(S)] <> p? = 
通过 上 述 表达 式 ， 可 以 进 一 nes 
ae i: ALXCS)] < ELSO 
k SC{1, pn}: |S] =4 k 


SC{1, tsn}: |S] =k i€ES k(k — 


(1. 6. 11) 


最 后 ， 我 们 观察 到 每 一 个 具有 & 一 1 个 元 素 的 子 集 SG), ERA. ETHIE 
出 现 [n 一 (一 1)] 次 。 所 以 我 们 可 以 把 hav EA 


( EPV nx h[X(T)] | n |=. 
一 一 一 | 一 -一 一 一 = ap = ey 
tetanie RI wisn 2-1 k=] 


(c) 针对 集合 S, 二 {1，2，…，n}， 首 先 对 (1. 6. 11) 式 两 边 取 需 ， 然 后 应 用 算术 或 者 
几何 平均 不 等 式 可 以 得 到 
CXCS0 fn LhCSo CL) 4 FACS, Cm) /nn—1)) kg : CS, G))/Or-1 
e” <e Saí )J/ EET /er 一 D 


上 式 等 价 于 < 。 现 在 ， 我 们 采用 证 明 (b) 问 题 所 采用 的 方法 ， 用 所 有 子 集 进 行 平 均 
来 证 明 对 于 所 有 kn BG ti? <ty”, Oo 
问题 1.8 Ap. s p, 为 概 府 分 布 且 p” =max[p;], HA 
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wos Dip log: p: ==— pom — CU > p- dices — py 

i) — Dip ilogs p: > log, (1/p*) 

Gi —D p,log, p,>2U0—p* ) 

AmE E X, Y feliz, yRATAR “FER” lho], RRA MH MAF HT 
出 ， 条 件 分 布 P(z|y) 二 P(X=z|Y==y)。 令 h(P(。，|y)) 表 示 条 件 分 布 PC(，|y)(y€E 了) 
WH, FAACX|YRAX PY HSE, CLBPRM ASE AM ARH f Jol, te 
得 对 于 所 有 yEJ 均 满足 PCy) |y=max,c;P (rly). 证明 在 这 种 译 码 准则 下 的 差错 概率 为 

Ter Cy) = b3 Plz|y) 


r€ IiaxX fly) 


其 中 差错 概率 满足 OLAP + | y)) 5 LA AR 6 3 AH 


Ex..(Y) < Sh(X1Y) 


解答 〈i) 式 右边 下 界 由 聚合 不 等 式 ( 参 见 引 理 1. 2. 5) 得 出 。(ii) 式 右边 下 界 可 由 下 面 关 系 
式 导 出 
一 之 如 logp; > Dib: log J = log 六 
AYER GR, MUE p* S1/2 时 使 用 (D 式 ， Hp 三 1/2 时 使 用 (ii) 式 。 首 先 假定 pS 
1/2， 通 过 (iD 式 可 得 ， 
hC pr se spa) = hpt yO > 
函数 xzE(0，DPh(Cr，1 一 x) 是 上 凸 函 数 ， 其 在 (1/2，1) 处 的 图 形 严 格 地 处 于 线性 函数 
zel- E. 
所 以 ， 
h( piss p,) = 20— p") 
另 一 方面 ， 当 p* 1/2 时 使 用 (i) 式 可 得 : 
Alpis spa) > log 5 
log + >20 — 2) 当 且 仅 当 z=4 
最 后 ， 我 们 使 用 (iii) 式 来 推导 最 终结 论 。 记 
mrer(y) = 1— Pa f(y) |y) = 1— Pax (> |y) 

HDF h(PC + |Y))/2. 最 后 注意 到 h(X|Y)= 二 Eh(P(。|Y)),， 通过 取 均 值 的 方法 可 以 
TEAR Era YOM FR. 口 
问题 1.9 给 出 信息 速率 H 和 信 源 渐 近 均 分 性 的 定义 。 计 算 Bernoulli 源 信 息 速 率 。 给 定 
一 个 无 记忆 三 元 信道 ， 给 出 该 信道 容量 C 的 定义 。 根 据 Shannon 第 二 编码 定理 (SCT)， 推 
断 C 一 supy TI(X: Y). 

一 个 擦 除 信道 保持 传输 符号 无 损 的 概率 是 1 一 请， 将 其 变 为 不 可 读 符 号 的 概率 为 po A 
给 出 擦 除 信道 的 容量 。 
解答 ”对 于 取 自 有 限 符 号 集 T 的 信 源 Ul，U;,，…， 其 信息 速率 HEM FHA R>0 H 
上 确 界 ， 其 中 尺 满 足 约 束 ， 即 存在 一 系列 集合 A, CIX XI KHET |A, | <2" H 
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且 limPCUYEA,) 一 1。 
渐 近 均 分 特性 意味 着 ， 当 ”~ce 时 ， 在 某 种 意义 上 (这 里 我 们 指 依 概率 收敛) 
= Tlogp, Ut) > H 108 


在 这 里 U =U, U, ， (ui) =P(Ui=ui)., Shannon 第 二 定理 SCT 指出 如 果 随 机 变量 
—logp, (UI)/n 收 敛 到 一 个 极限 ， 那 么 这 个 极限 就 是 H., 
一 个 无 记忆 二 元 信道 (MBC) 具 有 如 下 的 条 件 (转移 ) 概 率 : 
PaY™ |X PR) = Po: |x) 
其 发 生 传输 错误 的 概率 是 
e = Prone U 三 PC 外人) 天 ww 发表) 


其 中 Pom AEREN fv BFA fn 的 解码 规则 的 信 源 分 布 概 率 。 如 果 RE (0，1) 是 可 靠 传 
输 速 率 ，Puue 在 源 字符 串 为 z HRE HUn =D “0 的 集合 WUw 上 是 均匀 分 布 的， 那么 就 
存在 fy 和 Fy 使 得 


ee ZF) # ul fru) RR) =0 


信道 容量 是 所 有 可 靠 传 输 速率 的 上 确 界 。 
对 于 一 个 擦 除 信 道 ， 信 和 道 转移 矩阵 是 
0 T= 0 p 
il 0 = pil pb 
0 { * 
RRE ACY |X)=h(p, 1—p)FFARMRMF px. HU, Alt 
C = sup I(X:Y) = suph (Y) —A(Y |X) ; 


在 px(0)=px(1)=1/2 上 可 达 并 且 
ACY) =— (1 — p)logl (1 — p)/2] — plogp = h(p, 1— pr #) 
该 信道 的 容量 是 C=1 一 p。 oO 
i. 10 给 出 Huffman YY 针对 符号 概率 
了 


+, 5 省 6 , To’ 10° To’ 5 PES Huffman 编码 码 字 长 度 。 

证 明 如 下 推断 或 给 出 一 个 反例 ; 如 果 使 用 Huffman 编码 所 得 的 一 个 码 字 长 度 是 1， 那 
么 在 该 编码 中 存在 另 一 个 长 度 为 1 的 码 字 ， 且 满足 |/ 一 /| 声 1。 
解答 ”第 一 部 分 的 答案 : 








概率 ” 码 字 KE 
1/5 Fog 2 
W100 3 
1/6; 101 3 
1/10, 110.3 
1/10) “10: 3 
Aygo tot An 3 
1/10 1110 4 
1/30 1111 4 
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第 二 部 分 ? 一 个 反例 如 下 3 


me BF KE 
CE SO. oO 
1/8 100 3 
1/8 101 3 
1/8 110 3 
73s WW 3 oO 


问题 1. 11 一 个 无 记忆 信道 的 输入 符号 为 {0，1}， 正确 输出 符号 的 概率 为 (n 一 1)/n*， 转 
换 输 出 的 概率 为 1/n*。( 因 此 ， 对 于 n 二 1 而 言 信道 是 二 元 无 唆 声 信道 。) 对 于 ?之 2 的 情况 ， 
会 产生 2(n 一 1) 种 的 “污点 ”， 按 照 惯例 用 a; 和 B(i 二 1]，…，n 一 1) 来 表示 这 些 “ 污 点 ”， 它 
们 的 概率 相似 : PCa; |0)=(n—1)/n?, PIOS, P(B|D=M™—-1)/n*, Pla; |= 
1/n”。 证 明 信 道 容量 C, 会 随 着 7 单调 增加 ， H# BA limC, =, 如 果 我 们 简单 地 将 污点 a 
当 作 0 并且 将 B; 当 作 1， 那 么 信道 的 容量 会 受到 怎样 的 影响 ? 

解答 ”信道 的 概率 转移 矩阵 为 




















‘ne o BaL 
0 n’ n’ n? n’ n? n? 
1 ay n—1 a4 n—1 1 n—<l 

n? n? n’ n’ n? n? 


0 1 a Bi “sp i Bra 
fey AE NT PY CET A PR), A T KRR SB AA A 


C= pe = = 


信道 容量 C, 为 


n? 








1 一 1 

C, = log(2n) +n zlog) +n” Sey es 

wt 
n 





= 1+ 3logn — 
此 外 ， 可 以 推算 出 
C(x) 一 1 十 3logz 一 (is 二 jlogcz 一 Diz>>1 


log(n—1) 一 十 co， %n>oo 





我 们 发 现 
aces eee =p ~ pilose -D 
一 二 一 点 log(z 一 1 
= 二 [2x 一 log(z -1]>0, Sul 


Auk, C, 对 于 nn 宇 1 会 随 着 n 增长 。 当 a; 和 8B; 分 别 被 当 作 0 或 1 时， 信道 容量 不 变 。 O 
问题 1. 12 X;Gi=1, 23 "…) 是 独立 同 分 布 的 随机 变量 ， 取 值 为 ds 0 的 概率 分 别 为 pf 
(1 一 p)。 基 于 如 下 余 项 证 明 局 部 De Moivre-Laplace 定理 


PCS, = 8) = nl 1. 6. 12) 
V2ny(l1—y)n 


在 这 里 
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5, = Xo yE ki hy(y) = yln( 


Se, See iat) 
余 项 0.(R) 遵 循 二 


p 
|0, Ck) | < 

提示 : 对 余 项 使 用 Stirling 公式 
n! = (Onn ， ne ttm 


1 => 
CAES T ia 


其 中 


RA k Fok” ROKR, k Knk n), BAY no, P(S,=k*) RMR 
大 的 并 且 PS, =k ) 是 渐 近 最 小 的 。 之 后 ， 进 一 步 给 出 相应 的 渐 近 性 公式 。 
解答 可 以 写 出 


=, n =. nm 本 nl n 
PS = 1) (A pp! = p — pet 


= n n” nk pk = 3 m 
Ye TD Em El p)"*p* X expLd(n) — Hk) — dn—k)] 


te 
V2nny 1 =y) 
+kinp+ (n—k) In — p) JexpLd(n) — 9(R) — 9n — k) ] 
Se e 
JVexny l —y) 





exp[— klny — (n — k)ln(1 — y) 


expl — mh, (y) ] X exp[9(n) — ok) — 9(n— k) ] 
因为 


il 1 2n? 
| 9(n) — 9k) — 9(n—k) | < Zt tATu ss ry ome a 
式 (1. 6.12) 成 立 ，0,(k) 二 9(n) 一 9(k) 一 9(n 一 k)。 根 据 Gibbs 不 等 式 可 知 h,(y) 宇 0 和 当 


AMY y=p Hth, (y)=0. MAA 





dhy(y) sia aS p 1-9» dhs Qe E 
dy us i 和 dy? 7 Toa 
可 以 得 到 
Se =0, SEG; 0<y<p 和 SS 0, p<y<l 
y=p 
因此 


h,=minh,(y)=0, 在 y= 二 pp 时 取得 
hs = max hy) = min(In + ,In : E 在 > 一 0 或 y 王 1 时 取得 





Bi alp 
TÆ, 对 于 n>1 的 最 大 概率 在 y* =p 时 取得 ， 即 kt=| np]: 
q 1 
S, = œ ——————- exp (9, ( ) 
PC Lap |) VG eT el Lap J) 
其 中 
1 


类 似 地 ， 最 小 概率 是 


113 
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P(S, = 0) = p", 0< p< 1/2 
PCS: =n) =A =p 1/2 p<l E 
问题 1. 13 (a) 证 明 一 个 概率 分 布 为 p 二 (p(1)，…，p(n)) 的 离散 随机 变量 久 A hA) 


一 J pO logt) A AÈ p HF SBR, 
i=l 


证 明 概 率 分 布 为 PCX=i, Y=k)=px(i)Pyjx(kli) G, k=1, =, n) KpE E X 
和 了 之 间 的 互信 息 TI(X: Y)=hY)—hY |X), TAZARI Py x(k}, 2A 
È px= Pr), s PADAT DAA. 
(b) 试 证 明 
h(X) >— p* log, p* — (1—p’*)logs(l—p*) 
# F p* 王 max 下 (X 一 Z)， 然 后 推出 当 p* S1/2 时 
h(X) > 201 — p") (1. 6. 13) 
说 明 不 等 式 (1.6.13) 在 p* 二 1/2 时 也 成 立 。 
解答 (Ch pF ANRKA 
AOA pi + Az pe) > àh pi) + Ah Cp2) Gb) 
SF TA EK ps = (9,0), = PD) G=1, DWBA, AEO DE, HP a +a, = 
1X, 的 分 布 为 Pi» X: 的 分 布 为 P2。 同时 令 
QZ 三 1( 以 概率 jj) Z = 2( 以 概率 Xz) 
Y=X,, BAY 的 概率 分 布 是 Xipi 十 A2p;。 根 据 定理 1.2.11(a)， 有 
ACY) SAN |Z) 
HET AR A Wa EY) ESL 
ACY |Z) = AyhCX,) +ah(X,) 
这 就 推出 式 (1. 6. 14)。 现 在 
ICX:Y) = ACY) — ACY |X) = ACY) — E pr DA Prl |i) (1. 6. 15) 
如 果 Py x(. |. ) 是 固定 的 ， 由 于 上 式 的 第 二 部 分 是 px 的 线性 函数 ， 因 此 是 下 凸 函数 。 其 
中 ， 第 一 项 ACY) FE py FARR, py 也 是 px 的 线性 函数 。 因 此 h(Y) 是 px WP OR 
数 ，I(X; Y) 也 是 px WER. 
(b) 考虑 两 种 情况 ， Gp >1/2; (il 因 委 1/2。 考 虑 情况 (iD) ， 通 过 聚合 不 等 式 可 得 


0 > —p" log + = 20 —p") 


1 
pope 
在 情况 Ci 下 我 们 针对 n( 随 机 变量 X 可 能 取 值 的 个 数 ) 采 用 归纳 法 。 首 先 取 初 始 值 n=3; 
不 失 一 般 性 ， 假 设 p* =p Sp. Sp3. WA 1/3<pi<1/2, (1—p.)/2<p.,<p.. A Wit 
— 


2 E EER ATES ee pe E Bee 


Fofr 
因为 1/2<q<p,d—pi<1, 
keg lo = hpr bhn — PV ALS p,)) 





也 就 是 
h( pis Perps) > h(p\.p1,1—2p,) = 2p, +h(2p,,1—2p,) 
根据 (a) 可 以 得 出 不 等 式 2p, +A(2p,, 1-2p,) S201 — pir SRF 
hA(2p,,1—2p,) > 2—4p,,1/3 < pı < 1/2 
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或 等 价 于 
Kip t= p) > 2—2p,2/3< p<l 
因此 ， 对 于 n=3, h(pi，p;，p;) 宇 2(1 一 p* ) 与 p 的 值 无 关 。 归 纳 法 的 第 一 步 完 成 了 。 
下 一 步 我 们 假设 对 于 X 取 值 才 n 一 1 it AXA p ) 成 立 。 然 后 取 p= s =, 
pads 并 不 失 一 般 性 地 假设 p= p >e Sp 可 以 进一步 写 出 gq 二 (pz/(1 一 二);，…， 
pn-1/(1 一 p)) 和 
h(p) = h(p, .1— p) + 1— ph Sh, .1— pp.) + pAg) (1.6. 16) 
RSX AC p)>20— p* ) 可 以 根据 如 下 式 子 得 出 
hlp: l> pi) +A — pp) (2—2q) > (2— 2p1) 
该 式 子 等 价 于 
h(pisl— pi) S20 —p)Ud—1t+aq) =20— pia = 2p, 
HP 1/n<p,<1/2, A—p,)/(ma-1) <po<p,. 1E4R HA Se By UWZ A] 
h( pi .1— pi) > 201 — pr) > 2p 
(4 pi 二 0，1/2 时 等 号 成 立 )。 因 此 ， 不 等 式 (1. 6. 16) 可 以 根据 归纳 假设 得 出 。 E 
问题 1. 14 ”考虑 一 个 概率 分 布 pi EIS {1, 2, |, n}, ADA T AAE log, (1/p;) 对 于 
所 有 的 p>0 的 i 都 是 一 个 整数 。 可 以 将 I 看 作 一 个 符号 集 ， 其 中 的 字母 将 通过 二 进 制 字 
符 编 码 。 一 个 Shannon-Fano(SF) 编 码 分 配给 字母 i 一 个 长 度 为 L; 二 | log, A/p) 18 BF; 
根据 Kraft 不 等 式 可 以 构建 唯一 可 译 码 。 证 明 SF 码 的 竞争 最 优 性 : 如 果 l; (i ET)， 是 任 
意 唯 一 可 译 码 的 二 元 码 码 字 长 度 ， 那 么 
PU: < 4!) > PU <4) (1. 6. 17) 
SARS L= 时 等 号 成 立 。 
线索 ;你 可 能 会 用 到 不 等 式 sgnl—l')<2*"—-1, L, LEl, e, n 口 
解答 可 以 得 到 
Pl < 一 PC > 4.) = Dp Dp 
i: <6; iG <h 
= J pisiga; — 4i) = Esgn(¢—¢') < E2 — 1) 
其 中 利用 了 如 下 事实 : WP RM x A sign z 委 2 一 1。 进 而 可 以 利用 Kraft 不 等 式 获 得 
BOH —1) = pla —) = Dye" 2 == Slat — 2 全 
xi- z =1=1=0 
这 就 推出 了 不 等 式 
Pe; < L) > PUL <4) 
为 了 让 等 号 成 立 ， FETT AES (a) 24-4 —1=0 1, iE (AW RAY r=0 MHI MAA 
sign z=2'—1); (b) 2 >= BY 2, 2 一 1， 唯 一 的 可 能 就 是 2 “ 圭 1, AS 。 O 
问题 1. 15 定义 一 个 二 元 信道 的 信道 容量 C。 令 Cn 二 (1/N)sup TCX :YN )， 其 中 
I(X% ,YW ) 表 示 通 过 信道 发 送 的 长 度 为 N h EI F A 和 对 应 接收 码 字 Ym 之 间 的 
互信 息 ， 而 上 确 界定 义 在 半路 的 概率 分 布 上 。 证 明 C<lim supCn 
解答 ”一 个 二 元 信道 可 以 定义 为 如 下 的 一 个 条 件 概率 分 布 序列 
BP Gy |x GN =H 152) 
其 中 x Sax, ay SERA SG AY SE HP, y= yp oe yy 是 输出 端的 二 进 制 码 字 序 
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列 。 信 道 容量 C 是 一 个 概率 族 { 了 王宫 (。|“。)} 的 渐 近 参数 ， 定 义 

C = sup[R € (0,1) :-RED EWEEK] (1. 6. 18) 
RE(0，1) 被 称 为 可 靠 传 输 速率 (对 于 一 个 给 定 的 信道 )， 如 果 假 定 随 机 信 源 序列 在 集合 
YN“ 上 是 等 概率 分 布 的 且 集 合 UWYH” 的 势 为 站 人 NY ”= 二 2NR1o9]， 那么 存在 一 个 编码 规则 
FY: YW YNwE(0，1) 和 一 个 译 码 规则 了 {0，1})N 一 WY'””， 当 N 一 co 时 错误 概率 


Bee 2 = >» ae {uy Tu Gye) = u} ee (u)) (1. 6. 19) 
vey™ 
BFS, Heo, 


eCN) 二 ew Grea Py aaa 
Shannon 4 — jh #5 E FR CSCT ) AY it ce FR He WA 
C< lim sup 六 sup (XY ,YW ) (1. 6. 20) 
N->co Py(N) 
其 中 XY., Y™ ) 是 随机 输入 和 输出 符号 X AY 之 间 的 互信 息 ，Pxm SEX’ 的 一 个 
分 布 。 
为 了 证 明 本 题 ， 只 需要 验证 当 # 有 ”三 2MER+o 时 ， 对 于 所 有 的 Am SPY, BA 


es CN oad) 
R+o0(Q) 


ge il (16.219 


其 中 
Gx e Eo sup rx YO) 
N PN 


实际 上 ， 如 果 R>lim supCw， 那 么 根据 式 (1.6.21) 可 以 得 出 lim in f inf, po e™ >0, R 
是 不 可 靠 的 。 
为 了 不 失 一 般 性 地 证 明 式 (1.6.21)， 假 设 FY 是 无 损 的 ， 那么 输入 码 x 是 等 概率 
的 ， 概 率 值 为 1/(# 史 ”)。 对 于 所 有 译 码 规 则 产 ” 和 任何 足够 大 的 N， 
ANC, SICK. yr TR 
ER Om. i ab, 
= log( # WY”) — AX” | fam )) 
> log # YW) —1-—e™ log # Y — 1) (1. 6. 22) 
这 里 最 后 的 一 个 界 由 广义 Fano 不 等 式 导出 
Acx™ LAYS 去 一 cy loge” = ie ath )log(1 一 eM) +e log( # yy” =} 
<l+e™log(# Y” —1) 
现在 ， 从 式 (1. 6. 22) 中 可 得 
NCw = NR + o(1)] =m log(2 nm] = 7) 
例如 


hee N[R + 0(1)] th 0 ty oC) 
= log(2MEto WV] — 1) R+0(1) 





证 毕 。 口 
问题 1. 16 一 个 无 记忆 信道 具有 输入 符号 0,，1 以 及 输出 符号 0，1 和 关 ( 无 法 办 别 )。 给 定 
信道 矩阵 

P(0|0) = 1,P(0|1) = PA|1) = PC* |1) = 1/3 
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计算 信道 容量 以 及 对 应 的 输入 概率 px (0) Fe px(1)( 在 算出 信道 容量 的 基础 上 )。 
有 人 建议 ， 只 有 在 给 出 为 1 时 可 能 出 现 符号 # ， 亦 可 以 把 关 当 作 1: 你 可 以 从 输出 序 
列 中 得 到 更 多 的 信息 ， 它 提高 了 信道 的 容量 。 你 同意 吗 ? 证 明 你 的 答案 。 
解答 ”用 公式 
G= Pei ICX Y) gaplani —h(Y|X)] 

其 中 px 是 输入 符号 的 分 布 : 

px(0) = ppx(1) =1—-p,0<p<l 
MU, Ap 的 函数 计算 I(X: Y)， 其 中 

h(Y) =— py(0)logpy (0) — py (1) logpy (1) — py ( * )logpy(*) 

其 中 

pr) = p+ (l= p)/3 = A+ 2p)/3 

py(1) = py(*) = (1— p)/3 


并 且 
E Sp Lee AI~ py), Ap 
ACY) = 一 ioe 7 
同样 ， 
h(Y|X) = = 2) Px) D/P |= )logP(y|2) 
I=0,1 
二 一 eleli = = (1—p)log3 
| 所 以 
I(X:Y) =— HE Plog HE 2P — 20 Pigg 1 — (1 — p)log3 
求 导 可 得 
$1!X:Y) =— 2/3(log(1/3 + 26/3) + 2/3log(1/3 — p/3) +log3 
所 以 ， 最 大 值 max I(X: Y) 可 以 从 下 面 关 系 中 得 到 : 
2 
5log 1 p Z + log3 一 :人 
可 进一步 推出 
fixe p-E eS Bake 
log lf 2p 2 log3: = b 
和 
=p = 9 HD bH 
wer ge a aia epee) 
〈 解 该 方程 可 以 获得 的 ) 答 案 是 
MER N 
14+21 


对 于 证 明 的 最 后 一 个 部 分 ， 记 
ICX:Y) = h(X) —hCX|Y) < ACK) —ACK[Y') = ICKY’) 
上 式 对 于 任意 Y(Y 的 函数 ) 均 成 立 ; 其 中 的 等 式 当 Y SX 条 件 独 立时 成 立 。 我 们 考虑 的 
信道 就 是 这 种 情况 ， 所 以 建议 中 的 容量 并 不 会 增加 。 口 
问题 1. 17 (a) BR—MRRMREX, Y, CLARA} ACK, Y FRHWACX|Y). 
(b) 证 明 有 (XX，Y) 宇 h(X|Y)， 并 且 解 释 等 式 成 立 的 条 件 。 





[119 | 
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Ce) F0<0<1, HEA 
hX |Y) > Clog") ) PCqQ(X,Y) <A) 
KP qa, Y= MX=2c|Y=y), HHO, X, 分 别 为 何 值 时 等 式 成 立 ? 
解答 (a) RREH 
A(X |Y) =— Elogg(x.y) =— 5)P(X = zx,Y = y)logg(z,y) 


其 中 
gas) = PX = | = yy 
HR A MAY HE 
h(X,Y) =— DPA = mY = y)logP(X =.25Y = y) 


Cb) 从 定义 中 可 得 
h(X,Y) = A(X |Y) — DS PY = y)logP(Y = y) > h(X|Y) 


Cb) AY ak 4 ACY) =0 时 成 立 ， 即 Y 几乎 肯定 是 一 个 常数 。 
(c) 利用 Chebyshev 不 等 式 可 得 
P(q(X,Y) <6) = PC- logq(X,Y = log1/8)) 


EL- logg(X,Y)] = Tost Ja" XIY) 


ease sail 
这 里 等 式 基 于 下 列 条 件 成 立 
了 (9q(X,Y) =H) =1 
这 要 求 : Dd=1/m, HP m 是 一 个 正 整 数 ; (ii) 对 于 所 有 yEY 的 支 集 ， 存 在 一 个 势 为 m 
的 集合 A,， 使 得 
i z EA, O 
m 
问题 1. 18 一 个 文本 由 Bernoulli 信 源 生成 ， 该 信 源 包含 字母 1，2，…， 了 2， 概率 分 别 为 
Pi，p:，…，pmn。 项 望 通过 一 个 无 记忆 二 元 对 称 信道 (MBSC) 可 靠 地 传输 这 个 文本 ， 其 中 
行 误 码 率 为 p" 。 解 释 信道 容量 的 含义 ， 并 且 证 明 
C=1—hA(p* ,1—p") 
解释 为 什么 在 如 下 条 件 下 可 靠 通信 是 可 以 实现 的 : 
RCD Pages Pe Cpe b= p = I 
而 在 如 下 条 件 下 可 靠 通信 是 不 可 实现 的 : 
Abra prne pad hb vie bp” >=1 


KP AC pis Pros Pn) 一 一 >) pilog: pi. 
i=] 


fit & Bernoulli 信 源 的 浙 近 均 分 性 质 表 明 ， 由 信 源 发 射 的 长 度 为 n 的 离散 典型 序列 的 数量 
是 2""， 它 们 的 概率 近似 相同 ， 都 为 2 i 
lim PC 27"? i P,(U® ) xe IHD = a 


noo 


其 中 H=h( pis prs os Prado 
id 
T(= T,(e)) = (gm o < Pu) <2 } 
可 观察 到 
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lim ~log# T, =H, lim sup Llog# Ti <H-+e 


由 信道 容量 的 定义 可 得 ， 信 源 符号 u” ET, Ce) AT rh SE HK BE RCH +e) hE 
编码 ， 并 能 可 靠 地 通过 一 个 无 记忆 的 对 称 信道 发 送 ， 该 信道 矩阵 为 
bares 
py isp 
MER R<C, Hp 
C= napi aara = sapih HACY |X)] 


此 处 的 上 确 界 考虑 对 于 所 有 输入 为 二 进 制 符号 的 分 布 
px = (px (0),px(1)) 
而 输出 符号 Y 的 条 件 分 布 为 
和 
O73 yFU 
可 得 
h(Y |X) =— px(0)[— (1 — p* Jlog(1 — p*) — p* logp* | 
+ px(1)[— p logp* — C1 — plog — p*)] = hp" .1— p*) 
独立 于 px。 所 以 
C= soph (kp sp = lp 
因为 对 于 
pr(0) = py(1) = 1/2, 当 px(0) = px(1) = 1/2 时 
h(Y) 可 得 ， 所 以 ， 如 果 
H<C CS Amp) hp si» < 1 
那么 对 于 足够 小 的 e 汪 0 和 接近 容量 C 的 RC，R (五 十 6) 可 小 于 1。 这 表明 存在 一 个 长 
EH n 的 码 字 f,， 当 利用 编码 的 fa 和 响应 的 ML 译 码 器 时 ， 误 码 率 是 
< Pu” €T,) +P” E T,; 当 利用 fu”) 和 ML 译 码 器 时 的 误 码 率 ) 
当 n 一 co 时 ， 误 码 率 一 0。 
为 一 方面 ， 
H>C hm pp s1— pp") >1 
那么 对 于 所 有 R=C 均 有 R ' 昌 二 >1， 也 就 意味 着 我 们 不 能 用 码 字 长 度 为 n HBS u™ CT, 
进行 编码 以 使 误 码 率 趋 于 0。 所 以 ,可靠 传输 不 可 能 实现 。 口 
问题 1. 19 ”一 个 Markov 信 源 有 一 个 包含 人 个 字符 的 字母 表 ， 状 态 转移 纸 阵 为 P,,， 其 中 
的 元 素 px 如 下 定义 
Pu = pm = 2/3, py =1/30<j<m) 
bya =1/3(1 <j<m), pja =1/30<j<m) 
除了 上 述 元 素 外 ， 其 他 元 素 均 为 0。 计算 信 源 的 信息 速率 。 
给 出 如 上 定义 的 状态 转移 矩阵 P, 的 具体 形式 。 考 虑 另 一 个 信 源 ， 其 字母 表 包 含 mtn 
个 字符 ， 其 状态 转移 矩阵 为 





0 
mle BHEPHEATAASERTHSEBE, 


设 初 始 字符 在 字母 表 内 均匀 分 布 。 试 计算 信 源 的 信息 速率 是 多 少 ? 121 
解答 ”注意 到 状态 转移 矩阵 
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2736 11/3- 0 Qs 

asl/ PO? oO 
PIS | OL / ss HS 

0 0 0 OMi - 2/3 


是 Hermitian 矩阵， 所 以 具有 平稳 分 布 六 一 (Ti )， m;=1/m, 1 委 i 和 (均匀 分 布 )。 该 信 源 
的 信息 速率 等 于 


P En Aa 2 Lele, | h ye) E 
H= Dib a logpa = = (2/ 3 log 3 + 3 log 3 )+ 3m 2) 3 log = 


= eee 
= log3 i 


和 
Rae AP | matin | otro 8 其 信息 速率 是 如 下 两 个 速率 的 最 大 值 


Maxi sft, | Heyn 口 
问题 1. 20 考虑 一 个 取 自 有 限 字 母 表 的 信 源 。 定 义 J,=n'hU”), K,=hCU,4,|U™), 
n=l, 2, =., 28E U, 是 序列 的 第 个 符号 ,Um 是 由 前 nn 个 符号 组 成 的 一 个 序列 ， 
AU” ) LARA Him hU, UEA EEI RAAS BH. 证明 如 果 信 源 是 平稳 的 ， 
MAJ, Fo Kk, 是 非 递增 的 且 有 一 个 公共 极限 。 

假设 一 个 信 源 是 Markov 信 源 但 不 一 定 平稳 。 证 明 U, 与 Us 的 互信 息 不 小 于 Ui 与 Us 
的 互信 息 。 
解答 ”对 于 第 二 部 分 ， 由 信 源 的 Markov 性 可 知 
RO, = = = = PO, = | | — 2) 





因此 
=e = PU, = u |U: =U; = u) 
IU, : Uz ,U;)) = E(— log aay ) 
ve = PO) =m U2 m) T: 
= B= log ge )= PU) 
因为 
ICU, : (Uz Us) > ICU, :U3) 
可 得 结果 。 口 
问题 1. 21 针对 概率 如 下 的 五 个 信息 构造 一 个 Huffman 编码 : 
信息 1 2 3 4 5 
概率 0.1 0.15 0.2 0. 26 0. 29 
解答 
平均 码 长 为 2. 4。 m 


问题 1.22 ”阐述 第 一 编码 定理 (FCT)， 该 定理 能 度量 一 个 具有 菜 种 长 期 性 质 的 信 源 的 信息 
速率 。 请 从 渐 近 均 分 性 的 角度 解释 FCT， 并 且 给 出 Bernoulli 信 源 的 信息 速率 。 
考虑 这 样 一 个 Bernoulli 信 源 ， 其 发 射 符号 0，1 HMED RMA 1—p Fo p, HP O<p<l, 
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A n(p) 二 一 plogp 一 (1 一 p)log(1 一 p)， Me>OAK—-RM. 令 U'" 为 信 源 发 射 的 前 nn 个 
符号 构成 的 序列 。 证 明 存 在 这 样 一 个 集合 S,， 它 包含 了 U" 可 能 的 取 值 ， 且 满足 下 面 的 概 
率 不 等 式 





w ir wea — p) 
PU” €S,)>1 (eres) — 


所 以 对 于 每 个 WU ES, : 概率 pU” =y” ) 的 取 值 在 pb 和 2 re í 
解答 对 于 Bernoulli 信 源 下 列 关 系 成 立 : 


— TlogP,(U™) =— 5) logP(U,) > q) 
1<ji<n 
即 对 于 所 有 e 之 0， 由 Chebyshev PERA 





P( |- HogP u 一 | >e)< + var( >} logP(U;)) 
4 en 1<j<n 
= Var[logP(U)] (1.6. 23) 

这 里 

l = p> U; => QO, 

PU) = | BU TT Pw, 

Ps U; = Iy TE 

和 
Var( >) logP(U,))= >) Var(logP(CU))) 

l<j<n l<j<n 

其 中 


Var(logP(U;)) = EllogP(U,) J — LElogP(U;) ]’ 
= p(logp)? + A — p) loga — p))? — (plogp + (1. — p)logC — p) Y 


ee ne p_\’ 
=pl p) (log eed 
所 以 ， 由 (1.6. 23) 式 中 的 界 可 得 
有 (2 一 (ht+e < PUY) < QO) > 1 pa = p) (log apn 


Te} 
基于 上 述 推导 ， 现 在 可 以 设 
S, = fy = uy Un gr nke) 过 PU”? =u”) = gaia } 

由 此 可 以 得 到 结果 。 o 
问题 1. 23 考虑 用 具有 个 码 字 的 码 本 对 字母 表 {1，2，…， 郊 } p aAA i h < 
m)。 针 对 一 个 码 字 长 度 为 51，*…，s 的 可 译 码 阐述 Kraft 不 等 式 的 含义 。 假 设 一 个 信 源 从 
字母 表 {1，2，*…，m} 中 选择 发 射 符号 ， 已 知 每 个 符号 发 射 的 概率 为 P, 二 0。 记 S 为 逐 符 
号 的 信 源 编码 时 信 源 输出 的 随机 码 长 。 期 望 找 到 一 个 能 最 小 化 g? 平均 值 的 可 译 码 。 尝 试 
证 明 下 界 B(g5) 之 ( >) Vp ) ， 并 解释 在 什么 条 件 下 等 式 成 立 。 


l<i<m 





2 


同时 ,证明 对 于 上 述 准则 的 最 优 码 必须 满足 ECG?) <q( >) Vp;)。 
lI<i<m 


提示 : 利用 Cauchy-Schwarz 不 等 式 ， 对 于 所 有 的 正 值 Xx;，y;， 


oe z ( S z Y >" yi) 
l<i<m l<i<m l<i<m 


当 对 于 所 有 i 都 有 x; 二 cy; 时 ， 上 式 中 的 等 式 成 立 。 
解答 ”由 Cauchy-Schwarz 不 等 式 ， 
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D pl NT (a) Dd 


l<i<m 1<i<m l<i<m 1<i<m l<i<m 


由 Kraft 不 等 式 a. q “1, 可 得 


1<i<m 
Eq’ = >) pat (Dp) 


1<i<m l<i<m 


现在 把 概率 p: 设 为 
Pi — (cg ™ y” <p> 0 
其 中 Dlg 二 1( 所 以 ，2) pl? =c), Es AKTET n 的 最 小 整数 。 基于 Dig “入 1 


i<i<m 1<i<m 1<i<m 


和 Kraft 不 等 式 可 知 ， 存 在 一 个 长 度 为 % WEB. WFR, Gh <q =c/pi?, hit 
可 得 
u= p> pq" = p2 pa < a2, pg“ = g 2 pr? = a( > pi?) 口 
问题 1. 24 ”一 个 信息 速率 为 也 的 Bernoulli 信 源 通过 一 个 传输 畅通 或 不 通 的 字符 对 字符 的 
线路 。 如 果 线 路 畅通 ， 那 么 当 一 个 字符 被 传输 时 ， 接 收成 功 。 如 果 线 路 不 畅通 ， 那 么 接收 
机 只 知道 此 线路 不 通 。 线 路 在 畅通 和 不 通 的 两 个 状态 中 转变 ， 那 么 此 线路 服从 Markov 链 
CDTMC) ， 转 移 概率 是 常数 ， 且 独立 于 已 经 传输 的 文本 。 
证 明 由 接收 信号 组 成 的 信 源 的 信息 速率 为 Hitre Hs, HP Hs AF, H 是 由 线 
路 的 函数 限制 的 DTMC 的 信息 速率 ，zi 是 畅通 线路 的 等 概率 分 布 。 口 
解答 ”以 概率 p 发 送 符号 j 二 1，2，… 的 Bernoulli 信 源 的 信息 速率 是 H=- 》) 思 ilog 广 。 


线路 的 状态 是 一 个 DTMC， 其 2X2 的 状态 转移 矩阵 表示 如 下 





ual yi a | 

Hl p 1p 

并 且 平 稳 分 布 为 
z hy Ze S %) = —% 
ii my TÑ) a+p’ AxL( 畅 通 》 a FÊ 


(假设 "十 8>0) 。 接 收 信号 序列 服从 DTMC， 其 状态 记 为 0( 不 通 )，1，2，…， 状 态 转移 
概率 为 
Go =1—a, gu = apj» 
qo = Bs qu = 1—BP) pfs 
上 述 状 态 转 移 链 具有 唯一 的 平稳 分 布 


et tO = ms G) = pj i721 


jik >l 





a +e a+ 
那么 接收 信号 的 信息 速率 等 于 
Hears oh x mrs (J ) qn logg Sal —a)log(1 —a) + >) ap; log(ap;) ) 
j k=0 j21 
—— (Jp, (Bloge+ 1 — p) >) plog — Ap) ) 
a TE j>0 k=1 
nit as 


Et, Hy 是 线路 状态 DTMC WAER 


ee CT oe zi ths: aa af 
H. ate a)log(1 — a) + aloga ] prey ne B)log(1 — 8B) + flogg] 
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x=a/(at Bf). 口 
问题 1. 25 ”考虑 一 个 Bernoulli 信 源 ， 其 中 一 个 信 源 符号 取 值 为 i 的 概率 为 pi;(i 二 1]，*…，m)。 
An A n REZ) u” Suw u, 中 出 现 取 值 为 i 的 符号 个 数 。 令 A, 是 至 少 以 概率 1 一 e 包含 
序列 w" 的 最 小 集合 。 证 明 A, 中 的 每 一 个 序列 都 满足 下 面 不 等 式 

— Dnilogp: < nh + (nk /e)'* 126 
其 中 上 是 一 个 独立 于 nn 或 者 e 的 常数 。 对 于 Markov 信 源 阐述 (不 需要 证 明 ) 类 似 定理 。 
解答 ”对 于 一 个 包含 信 源 符号 1, 2, =, m 的 Bernoulli 信 源 ， 一 个 给 定 信 源 序列 u” = 
zw u, 的 概率 是 

P(U =u”) = ae pr 


集合 A， 由 出 现 概 率 最 大 的 那些 序列 组 成 (这 些 序列 依据 概率 值 递减 的 顺序 选 出 )， 即 具 有 
最 大 值 的 logP(Uo =u” )= +d n;logp; 。 因此 ， 对 某 些 (实数 )c， 


l<i<m 
A= {u SBS = Quam logp; = 0) 
为 了 确定 <， 我 们 利用 
PLA.) 一 
所 以 , c 的 取 值 将 满足 
P(u” 7 yy n;logp; = ec) 到 E 
现在 ， 对 于 随机 序列 U” =U, U, S N; 表示 其 中 i 出 现 的 次 数 。 那么 
一 J; Nilogp: = 2,0, #Ħ 0 =—logp,, 当 U 三 i 时 


l<i<m ISj<n 
因为 U; 是 独立 同 分 布 的 ， 所 以 随机 变量 b 也 是 独立 同 分 布 的 。 接 着 有 
BO, 一 一 之 pilogpr: = h 
并 且 
Varð; = E(,)? — (E0;)* = >} p,Clogp,)? — ( >) pilogp;) := 
l<i<m l<i<m 
那么 
E( >/0;)=mh E Var( >) 0;)= nm 
h= 理 是 信 源 的 信息 速率 。 ik 


根据 Chebyshev 不 等 式 ， 对 于 所 有 的 0 之 0， 
P(|- dy Nilogp. — mh | >b) <ir 
在 b= Vnk/e 时 ， 我 们 可 以 得 到 
P(|— X Nilogp—m| >,/%)<e 


因此 ， 对 于 所 有 的 u” EA, 


一 >) miloge, < mh +|% =c¢ 
对 于 一 个 不 可 约 非 周 期 的 Markov 源 ， 结 论 是 相似 的 ， 且 


Hee X mip j logpy 


1<ij<m 
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并 且 v0 是 由 v=lim 1 sup- l rar ( 2 6; ) 给 定 的 一 一 个 常量 。 口 


问题 1.26 证 明 一 es ae ee 可 达 性 能 度量 。 

选择 符号 集 F,=({0, i geeni aslpR RED 5,G=1, 2a ae | n) oy Fh FF RR AL FY 
HK >) pis;， 这 种 方法 不 仅 受 到 可 译 性 的 约束 ， 还 受到 Digs, 不 能 超过 一 个 给 定 界 的 约 

i=] i=1 
Rs 在 这 里 ，g, 对 于 原始 符号 集 的 公设 概率 分 布 {p,} 特 性 来 说 ， 是 一 个 可 行 的 选择 。 给 出 
Xps 好 最 小 值 的 界 。 
解答 “如果 我 们 忽略 % ，.…，s, 是 正 整数 的 条 件 ， 这 个 最 小 化 问题 就 变 成 了 

Ht Disip: 


(1. 6. 24) 
ARF s,>0 A Jja™ <1(Kraft) 


该 问题 可 以 通过 Lagrange 方法 解决 ，Lagrange RTH 
LG, 9°*" 9S, sÀ) sF a4 SPa A = p3 act ) 
这 个 松弛 后 的 优化 问题 具有 唯一 解 ， 由 下 式 给 出 i 
—log.pisl<i<n (1. 6. 25) 
这 里 ， 松 弛 最 优 值 
Vrel = 2 Pilog.p:: =h 

为 最 优 平均 码 长 > sr p; 提供 了 一 个 下 界 

h< Dist bi 

现在 考虑 另 一 个 约束 条 件 
Sasi <b (1. 6. 26) 


l<i<n 


st (1. 6. 24) 中 松弛 后 的 优化 问题 加 上 式 (1. 6.26) 中 的 约束 条 件 同 样 能 够 通过 Lagrange Jy 
法 解决 。 在 这 里 ， 如 果 
Digilog.p: <b 


那么 添加 新 的 约束 并 不 影响 式 (1. 6.24) 中 的 极 小 化 变量 ， 即 最 优 正 数 si, +, 5, 依然 由 
AC. 6. 25) 给 定 ， 并 且 最 优 值 是 hh。 另 外 ， 当 一 Digilog.p; > 6 Ht, 新 的 极 小 化 变量 > ，…， 
Ta 仍然 是 唯一 的 (因为 问题 仍然 是 强 Lagrange 的 ) 并 且 同 时 满足 

2a A — Dia 5 Sab 


在 这 两 种 情况 下 ， 对 于 新 的 松弛 问题 的 最 优 值 祥 4 满 足 hX Tsa o 
最 后 ， 对 于 整数 值 码 字 长 问题 


最 小 化 > si 


(1. 6.27) 
约束 于 ss 学 1 且 为 整数 ， Dia <1, Das: <6 


的 解 57 A eai sf 将 满足 
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h<om <b) rp. D>) Fai <b 口 


问题 1. 27 假设 一 个 离散 Markov 信 源 {XX,} 的 状态 转移 概率 是 

Pa = PUXws = k|X, = 7) 
其 平稳 分 布 为 (x;)。 假 设 信 源 符号 可 以 被 噪声 以 B 二 1 一 a 的 概率 擦 除 ( 在 这 个 方案 中 ， 我 们 
仅 能 看 到 事件 “ 擦 除 ”)， 该 事件 与 之 前 的 符号 或 噪声 独立 。 试 证 明 被 骂 声 影响 的 信 源 有 如 
下 的 信息 速率 





aloga — flogg — a° >) >) >) mB" pi logph 
其 中 pE At DTMC  s FRBME, 
RE HE ER sg A RX, } RR, MERREN, S= * (一 个 污点 ) 。 相 应 地 ， 
可 以 通过 将 原始 Markov 信 源 序列 x? 中 被 噪声 影响 的 字符 用 污点 置换 来 获得 有 了 噪声 影响 的 
信 源 序列 车 。 该 序列 的 概率 p, (T) =P =F) RAH 
Sy POs Sap PRS) (1. 6. 28) 


与 2 一 到 
并 作为 乘积 展开 计算 ， 其 初始 因子 为 
Aja RH >A pLR Ia 其 中 1 二 s 志 nn 或 者 1 
这 依赖 于 在 2 中 第 一 个 未 擦 除 字符 的 位 置 (如 果 有 的 话 ) 。 接 下 来 对 式 (1. 6. 28) 有 贡献 的 
因子 都 有 相似 结构 
PeP 或 者 $e od 或 者 1 
因此 ， 字 符 串 27 携带 的 信息 一 logp;(2?) 可 计算 为 
— logP(X, = za) — (sı — 1) logB— loge 
一 logpres — (s2 — 8; — 1) logB— loga — ++ 
一 log 力 2 — (sy — sn- — 1) log@— loga 
其 中 IKs << <sySn 表示 在 X? PRERA SESH AM IKE. 
现在 取 一 二 logp,(XY')， 即 由 随机 字符 串 Y? 产生 的 信息 速率 。 忽 略 初始 比特 ，- 我 们 可 
以 得 到 
— Llog, (XD => NP toga — N@ toga — 5) MO tog py? 
这 里 
Nla) = EX; 中 未 擦 除数 据 的 数量 
N(B) = 在 Xi 中 被 擦 除数 据 的 数量 
M(i,j;s) = EX) 中 长 度 为 十 1 的 一 系列 数据 ix … xj 
当 n 王 co 时， 极限 频率 将 收敛 (满足 大 数 定理 ): 
Nie > a, NY = p Mii > of mp Pa 


这 使 得 


一 = loge, (Xi) +— aloga — flogh — a’ Xr: Sp py logps 
ij = 
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(上 述 收敛 在 概率 意义 上 说 是 几乎 肯定 的 )。 根 据 SCT， 该 极限 值 给 出 了 受 噪声 影响 的 信 源 
信息 速率 。 m 
问题 1. 28 ”一 个 二 进 制 信 源 根据 如 下 转移 概率 
RX) = klk HHA = Os, 
RUA OKRA], RE, k, js 避 以 及 r+ 取 值 为 0 或 者 1 r=k—j—imod2, go 十 qn 二 1。 
请 给 出 上 述 信 源 的 信息 速率 。 
同时 也 请 给 出 信 源 符号 为 0 和 1 而 发 送 概率 为 q 和 dl 的 Bernoulli 信 源 的 信息 速率 。 
解释 这 两 种 信 源 信息 速率 之 间 的 关联 。 
解答 ”将 条 件 概率 详尽 地 重 写 如 下 : 
PX, = 0| Xa =j Xa =i) = ae Tr 
qi， tJ 
Oe t=] 
Gos ti 
这 个 信 源 是 在 {0，1} 上 的 二 阶 Markov $£, BUA @ OA IRA (00, 01, 10, 11} DTMC, 
4X4 的 转移 矩阵 为 


P(X, = Les = jX D = | 


00l[gg a 0 0 
01};0 O qm q 
LO sigs . OP 10 
11,0 0 og gq 
该 信 源 的 平稳 分 布 是 
du 
4 


mo = Ao FA MT = 
而 信息 速率 的 计算 可 以 采用 如 下 的 标准 方法 
H a LP Top Dy 2 Tob este lO8 Pea. 


asp=0,1 


1 
1r a) =— q logqo — qı logqı O 


问题 1. 29 Pet Ee re 分 别 是 1，2 和 3。 字符 j 
被 接收 为 j 一 1 的 概率 是 p， 被 接收 为 j 十 1 GOMER p， 被 接收 为 j 的 概率 是 1 一 2p， 输 出 
端的 输出 符号 取 自 包含 从 0 到 4 的 符号 集 。 针 对 一 般 化 的 p， 尽 可 能 明晰 地 确定 最 优 输入 
分 布 。 此 外 ， 当 p=0, p=1/3, p=1/2 时 ， 分 别 计算 出 信道 容量 。 

解答 ”信道 矩阵 是 3X5 的 : 


1 fp (1—2p) p 0 0 
2 10 p (125) p 0 
3 0 0 p = 2p p 


和 矩阵 中 的 每 一 行 都 是 其 他 行 的 置换 ， 所 以 容量 等 于 
C = maxp, [h(Y) — hA(Y|X)] = (maxp 无 (Y)) + [2plogp + (1 — 2p)log(1 — 2p) ] 
针对 输入 字符 分 布 Px BY BA EAT Ha h FES BA Hh CO) YE A 
接 下 来 ， 
h(Y)=— >) Py(y)logPy(y) 


y=051,2,344 
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在 这 里 
Py(0) = Px(1)p 
Pr) = PxQ)(1—2p) + Px€2)p 
Py(2) = Px) p+ Px(2)0 — 2p) + Px (3) p (1. 6. 29) 
Py (3) = Px(3)1 —2p) + Px (2) p 
Py (4) = Px(3)p 
上 式 中 的 对 称 性 表明 当 Px (0) = Px (20) =q URK PxQ)=1—-2¢ 时 , h(Y) 可 取 最 大 值 。 
所 以 : 
max h(Y) = max[— 2gplog(gp) — 2[q(1 — 2p) + G —2q)p] 
X loglg — 2p) + (1 — 2q) p ] 
— [2gp + (1 — 2g) (1 — 2p) Jlogl2gp + C1 — 2g) (1 — 2q) ] 
为 了 找到 该 最 大 值 ， 可 以 通过 求 导数 解决 : 


Faw) = =zploatan) = A a aa 2 


= —4p) E= oela + (1 Eaa —2p) ) ~ Cpa 
= 4p — 2plog(qp) — 21 — 4p) log g(1 — 2p) + (1 — 2q) p] 
—2(1— 4p) —2(p — 1)log[ 2gp + (1 — 209) 1 — 2p) ] = 0 
p=0 对 应 一 个 完美 的 无 差错 信道 ， 它 的 容量 是 log3， 并 且 当 输入 分 布 为 PxA) =Px(2)= 
Px(3)=1/3 即 q=1/3 时 达到 容量 ， 而 且 
Py(1) = Py(2) = Py(3) = 1/3,Py(0) = Py(4) = 0 
当 p=1/3 时 ， 输 出 符号 概率 是 
Py(0)= Py(4) = 9/33Pr(1) = (1 — /3,Pr(2) = 1/3 
hh(Y) 经 过 简化 后 可 得 


Peis le Ur hig ih 1 
h(Y) 2 log 3 2 3 log 3 3 log 3 
导数 dh(Y)/dg 对 应 





fe ee ee ee ee 
了 log 3 a talog 了 +3 


当 q=1/2 时 就 消失 了 ， 即 
Px(1) = Px(3) = 1/2,Px(2) = 0, 
Py(0) = Py) = Py@) = Py (4) = 1/6,Py(2) = 1/3 
HERR, AEA 
h(Y |X) = log3 
基于 上 式 ， 可 以 得 到 信道 的 容量 


ee ee EZ 
C= 3 108 6 3 log 3 log3 3 
最 后 ， 对 于 p=1/2, RWA hY |X)=1 以 及 


Py(0) = Py(4) = £,Py(1) = Py(3) = 1 7% 





„Py (2) Tg 


ia h R 
h(Y) =— qlog > = 140g ia — qlogq 
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=g—2glogg—! “log - F a 


当 q=1/6 i}, WEKE, BI 


PRD- SPO = + Px(3) E 4, 
Pio = pyc) = E r PD = Poy ae = > 
到 pd 12’ ¥ Y 3 st Y 6 
这 个 方案 里 ， 容 量 
C = log3 — + Ll 
问题 1. 30 输入 非 负 整 数值 X， 无 记忆 离散 时 间 信道 输出 为 了 ， 则 


Y = eX 
Be 5X HTL, Pe=1)=p, Ple=0)=1—p, FAMAN EA EXS 的 制约 。 
考虑 形式 为 di 一 cq G=1, ZA RAMD A lais i=0, l, e}, 试 确定 最 优 的 
输入 分 布 ， 并 给 出 一 个 信道 容量 的 表达 式 。 


解答 ”信道 矩阵 是 
WU 
=p p 0 


Lp UP Pp 


对 于 概率 为 Gg =PX=)DHRMADH, RNA 
PY =0) =qm+d—pd—qm) =1—p+ pq 





因此 
AY) =— 1 — p+ pqo) log — p + pao) — X pqilog(pqi) 
1 
FEF AEG 
h(Y |X) =— (1—q) LQ — p)log(1 — p) + plogp | 
ERMET 


IY:X) =— A — p+ pq.) logd — p+ paqo) 
= Qi Palos (eq) Ch a Gh = p)log(l —p) + ploge] 

我 们 需要 在 Gos n, ZRF g>, Dias = 1, Dyigs <1 的 条 件 下 最 大 化 Icy} XP 
Be, Mo, ， 并 针对 gi(i 宇 1)， 最 大 化 和 项 一 2, Pailog( pa.) « 利用 Gibbs 不 等 式 ， 对 
于 所 有 非 负数 a. a s alae A 

z 2 a:logq; wats 2) aloga; Y HRY Gg =a 时 等 式 成 立 
对 于 a;=cd', Fasi 从 Wied! =1, cd/Q—d)=1—a, Wid—a, c—U—a,)*/a = 
个 条 件 出 发 ， 上 式 右边 的 项 变 成 了 
— (1—q loge — (logd) >) ia; =— (1 — qo loge — logd 


1>1 
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接 下 来 ， 我 们 在 ao E [0， 1] 上 最 大 化 函数 


ci (1—a,)? 
f(a) =— C= p+ pao)log( — p+ pay) — pC — a») log —— ~— 
— logas + (1 — a.) — p) log — p) + plogp] 
利用 求 导 法 ， 需 令 上 式 的 一 阶 导数 为 零 ， 即 
fla = (1. 6. 30a) 
二 阶 导数 小 于 等 于 零 
a We) 
Fe ee ep! ee ok (1. 6. 30b) 


值得 指出 的 是 ， 式 (1. 6. 30a) 中 方程 的 求解 可 以 采用 数值 方法 。 方 程 (1.6. 30a) 的 某 个 根 能 
满足 式 (1. 6. 30b)， 将 这 个 根 用 a 表示 。 然 后， 我 们 获得 如 下 最 优 输入 分 布 : 


a> i=0 
IO pe 

与 之 对 应 的 信道 容量 是 C= fla). 口 
问题 1.31 考虑 二 元 编码 的 十 进 制 数 ， 该 编码 方案 将 十 进 制 数 0 编码 为 二 进 制 码 字 0000, 
将 1 编码 为 0001， 如 此 直到 将 9 编码 为 1001。 编 码 不 使 用 其 他 4 个 字符 串 的 二 进 制 序列 。 
请 尝试 证 明 ， 通 过 用 块 进行 编码 ， 我 们 可 以 逼近 每 十 进 制 数 位 所 需 码 长 的 下 界 。( 提 示 : 
假设 所 有 整数 是 等 概率 的 。) 

解答 ”问题 中 的 编码 是 可 译 的 (该 编码 甚至 是 前 缀 码 ， 对 于 所 有 定 长 可 译 码 都 可 以 这 人 么 
认为 )。 标 准 的 块 编码 过 程 是 对 nn 长 的 原始 信 源 (U,， 具 有 符号 集 x) 序 列 进行 编码 。 与 
之 相对 应 ， 这 个 nn 长 序列 可 被 视 为 n 次 扩展 信 源 (U,， 具 有 符号 集 gY  ) 输 出 的 一 个 字符 。 
给 定 典型 消息 中 块 的 联合 概率 p, Cu”) = PCU, =i, +, US i) 我 们 能 看 到 二 进 制 
hi 

hs, SPU, = hy aU y = Nem = a,4 Ua 


用 S” 表 示 块 上 编码 的 随机 码 字 长 度 。 每 信 源 符号 的 最 小 平均 码 长 是 6,: =min TES™ $ 
通过 Shannon NC 定理 


K” aaa < h” pas 
nlogg nlogg n 
其 中 g BRIA SK). RIEA, WERK n e~, eB, q= 


nlogq 
10 而 
h® =hn, h= logl0(4##) 
因此 ， 最 小 期 望 字 长 e, 能 够 任意 接近 1. 口 
问题 1.32 ”1{U,) 是 一 个 离散 时 间 过 程 ， 取 值 为 u。 设 字符 串 uM Suru 产生 的 概率 是 
Pl(u”™)。 试 着 证 明 如 果 概 率 一 logP(U”)/n 收 化 到 一 个 数 7Y， 那 么 此 y 就 是 过 程 信息 
速率 。 
写 出 x 状态 DTMC 的 信息 迷 率 公式 。 考 虑 转移 矩阵 有 元 素 pj 的 速率 ， 这 里 

pm pb = 29 = im Dapa = 1—p 
将 上 述 结论 和 两 状态 的 信 源 (转移 概率 为 p 和 1 一 p) 的 信息 速率 联系 起 来 讨论 。 
解答 ”考虑 具有 m 状态 的 平稳 DTMC， 其 状态 转移 矩阵 为 P=), PROH n=), 


[135] 


137 
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a i 
x h =— ribs log pi; 


WFR Fe AP 是 不 可 约 的 ( 即 具 有 唯一 的 相通 类 )， 上 述 结论 对 于 任意 初始 4 均 成 立 ( 这 里 平 
稳 分 布 是 唯一 的 )。 
在 这 个 例子 中 ， 转 移 矩 阵 是 


上 一 办 0 0 
0 p Fip 0 
IED 0 0 e. p 


B—-TREA TBR, SITRA R 
— plogp — (1 — p)log(1 — p) 
其 平稳 分 布 为 x= (C1/m, +, 1/m): 
1 my eee en, 
5 tee Ab EA p= 


1<i<m 


且 唯 一 ， 因 为 该 Markov 链 具 有 唯一 的 相通 类 。 因 此 ， 信 息 速率 等 于 
本 一 过 +} [= plogp = (1 — plog — p)] =— plogp— A — p)log(1 — p) 


<i<m < 
对 于 m2， 我 们 可 以 精确 地 获得 短 降 | p p METEB 150/2; 1/9; 


fi BRR h=7(p). o 
问题 1. 33 ”定义 一 个 对 称 信道 并 计算 它 的 容量 。 

美洲 土著 战士 用 烟 来 传递 信号 。 信 号 用 吹出 烟雾 的 长 度 编码 : 短 ， 中 等 ， 长 。 每 单位 
时 间 内 发 送 一 续 烟 。 假设 一 续 烟 被 准确 观察 到 的 概率 是 p， 而 以 下 三 种 情况 发 生 的 概率 都 
是 1 一 p: (a) 接 收 者 将 一 绪 短 的 烟 视 为 中 等 长 的 烟 ，(b) 中 等 长 的 烟 被 视 为 长 的 烟 ，(c) 长 
的 烟 被 视 为 短 的 烟 。 假 设 接收 者 知道 所 采用 的 编码 系统 ， 这 个 战士 能 可 靠 地 传输 信号 的 最 
大 速率 是 多 少 7 

假设 一 缕 短 烟 完全 消散 而 非 变 为 中 等 长 度 更 加 合理 。 如 果 该 假设 成 立 ， 你 推导 的 信道 
容量 的 公式 将 会 怎样 改变 ? 
解答 ”假设 我 们 用 一 个 有 m 个 字符 的 符号 集 .8 来 选择 输入 无 记忆 信道 符号 ， 该 信道 的 输出 
符号 取 自 符号 数 为 n( 包 含 非法 字符 ) 的 输出 符号 集 如 。 这 个 信道 可 以 用 它 的 m Xn 矩阵 来 
HR, 元素 po RAW iC .8 转变 成 jE 的 概率 。 信 和 道 和 矩阵 的 行 组 成 随机 n 维 向 量 ( 在 了 2 
上 的 概率 分 布 ); 


pu ese Pij oes Pi 

Pa eee ps eee Pin 

Pm ee Prj “oy i 
如 果 信 道 矩 阵 每 行 都 是 其 他 行 的 置换 ， 该 信道 就 称 为 对 称 信道 (或 者 更 一 般 地 ， 对 所 有 
iC SAMA E=h(pa, s Pa) WRRTRTAARTH RRS, BP thw 


是 其 他 列 的 置换 (或 者 更 一 般 地 说 ， 对 所 有 的 jE ， 每 行 有 相同 的 各 二 >， p). W 


1<i<m 
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信道 被 叫 作 双 对 称 信 道 。 
对 于 无 记忆 信道 ， 容 量 ( 可 靠 传输 速率 的 上 确 界 ) 定 义 为 
GS max I (X:Y) 


这 里 ， 最 大 值 取 自 输 入 字符 的 概率 分 布 Px 二 (Px li), IEJ), 输入 及 输出 随机 字符 X 和 
Y 通过 信道 矩阵 联系 后 的 互信 息 焙 1(X， YY) 定义 为 

I(X:Y) = h(Y) — ACY |X) = K(X) =X |Y) 
WMI. AERA 


A(Y|X) 三 三 5) Px (i) py logp, = h 


无 论 输 入 符号 概率 px (i) 具 有 任何 形式 该 表达 式 都 成 立 。 因 此 
C= (maxh(Y))—h(Y|X) 


仅 需 让 输出 焙 最 大 化 
h(Y) = 一 >)Py(j)logPy(j)， 其 中 PrO) = D PrOD pi 


对 于 双 对 称 信道 ， 接 下 来 的 问题 就 比较 易于 求解 了 ， 因为 在 这 个 方案 中 Py ÆSA, A 
(在 输入 符号 为 均匀 分 布 PEO =1/m 时 取得 最 大 化 。 


因为 并 不 依赖 于 jE J， Py(j) = 1); =+ 
因此 ， 对 于 双 对 称 信道 ， 容 量 为 


C = logn —h(Y |X) 138 
JOP, (aE 3X3 双 对 称 的 : 
1 一 短 p Ls 0 
2 一 中 等 0 pa 
3~ *K L=2 0 p 








可 导出 
C = log3 + plogp + (1 — p)log(1 — p) 
在 这 个 修改 的 例子 中 ， 和 矩阵 变 成 3X4 的 : 
p 0 0 top 
0 Ze ip 0 
1 p 0 
其 中 第 四 列 和 无 信号 输出 状态 (一 个 “污点 ”) 一 致 。 这 里 的 极 大 值 问 题 失去 对 称 性 : 
max|— >) ( >) Px(i)p;)log( >) PrO) X PrO >) pylogp; 
i=1,2,3 i=1,2,3 4 


j=1,2,3,4 i=1,2,3 








j=1,2,3, 


HRF Py(1),Px(2), Px) S>0,UR >} PxG)=1 
i=1,2,3 


该 问题 的 求解 需要 全 面 的 分 析 。 加 
问题 1. 34 ” 粹 功率 不 等 式 (EPI， 参 见 式 (1.5.10)) 指 出 ; 对 于 相互 独立 的 d 维 随机 向 量 
X,Y, FA RFARA: 
JZACX+Y)/d = 2AA) /d 站 Dene fd (Ge 6. 31) 
% ARS X fY MAX Gauss 的 且 协 方差 矩阵 成 比例 时 等 号 成 立 。 | 
令 尺 为 一 个 具有 实数 值 的 随机 变量 ,其 PDF 是 fx 且 具 有 有 限 的 微分 炉 h( 久 )， 令 函数 
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g: PREA PRESA go Bi Hog eg XAAR, EARE g XHA A 
h(g(X)) = h(X) + Blog, g'(X) 
AY, Fo Y: 彼此 独立 ， 并 假设 它们 的 概率 密度 严格 为 正 。 试 讨论 乘积 YiYs* HRP 
满足 
Qeny, Yo ) = ai QALEY 十 az 2” Y? 
其 中 log; (a,) =2Elog:Y; 和 log: Caz) =2Elog:Y; 。 
解答 ”随机 变量 g(X) 的 CDF 满足 
Fy Cy) = PENO Sy) = WX < (y= Frlg oy) 


即 PDF fen (y) = Eeg sw oin Few CY) 5 oe 


Favs Co) = fale SCG Cg! - HE 
(g *Cy)) 


Fez 
h(g(X))=— | fac Cy) loge few Cy) dy 


[PCO fale), 


= TE oy OB 


= 三 | irs Clog: fx (a) — log, g’ (x) |g’ (x) dx 


= ACX) + ELlog: g’ (X) ] C1, 6.32) 
4 gH=e' 时， 有 
logg (t) = log, e' = tlog,e 
PRU, Y=" =g(X;,), MAC. 6. 32) 说 明 
hle) = hCg(X)) = EXS + EX lope, 1 = 1,2,3 
Eth X,=X,+X,. FH 
ACYY2) = hle t) = ACX, + X,) + (EX: + EX,) logre 
TUL, FER-A Bt ANS sk tp 
DY Y2) 一 92h X, +X, )+2(BX, +BX, log, e 
> (Qe 4 22M X_) ) 92CHX, HEX, log, e 
一 22BX, log, e ( 92Lh(XI HEX, log, €] ) 
十 22EX, log, e (9 2LACX, )+BX, loge] ) 
= al 2M) 十 as DMD? 
在 这 里 ， ay = 27m, 即 
logzaı = 2EX,log,e = 2ElInY,log,e = 2Elog,Y, 
类 似 地 ，logsai = 二 2EB log, Y,. 口 
问题 1, 35 在 这 个 问题 中 ， 我 们 处 理 下 面 这 个 定义 在 0<a<b t BK: 


Ginb = lab» Cab eee oe i Co ne 
log(b/a) e 
验证 
atb 
2 





0<a< Gla,b) < Lta,b) < I(a,b) < AG,b) = <b (1. 6. 33) 


HF R, HF O<a<b 定义 
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A(a,b) = L(a,b)I(a,b)/G’ (a,b) 
WM PLR E X Fo Y HMDA p= (p,) f q= (qi): 

RX=)=—p>0, PY =) = lr, EPS Se, = 1 
4>m=min[qi/p;], M=maxlq;/p;], p=minlp,], v=max[p,]. HA FIR ž Ñ hA) fe 
Kullback-Leibler 散 度 D(p||q) 4 AAA PSE Il, 419 A): 

0< logr — A(X) < logA(p»v) (1. 6. 34) 

0< D(pllq) < logA(m,M) (1. 6. 35) 
BE ”不等式 (1.6.33) 的 证 明 较 为 容易 ， 所 以 留 作 练习 。 对 于 a<r<b, RA (p, x)= 
X pizi Gp, Xx) 二 了 zf 。 下 面 这 个 一 般 性 的 不 等 式 成 立 : 


(psx) 
二 RS Gp,x) <A(a,b) (1. 6. 36) 





它 说 明 
0 < log(2 pix:) — Z pilogz; < logA(a,b) 
选择 zx; 三 qi:/p;:， 我 们 立即 得 到 式 (1. 6.35). HR 4 为 均匀 分 布 ， 我 们 可 以 从 式 (1. 6. 35) 得 
到 式 (1. 6. 34) ， 因 为 
a(ded)=a(b-2)= ae 

接 下 来 我 们 概述 式 (1. 6. 36) 的 证 明 ， 细 节 参 考 文 献 L144]、[50]。 令 f ABR. p, q> 
0, ptq=l1. 然后 对 于 zx; € La, b], 我 们 有 

0< Dafa — fO pix) < maxl pf (a) + af (6) — flpa +q6)] (1.6.37) 
将 式 (1. 6. 37) WAI F AAA f(z) = 二 一 logzx， 经 过 一 些 计 算得 到 式 (1. 6. 37) 的 最 大 值 在 
po 二 (6 一 Lla，6))/(65 一 a) 处 取得 ， 其 中 poa 十 (1 一 po)6 二 LC(a，65)， 并 且 


(psx) — oe log Ja ) 
o= be tas P08 (eaan logtab) + 


它 等 价 于 式 (1.6.36)。 最 后 ， 我 们 建立 式 (1.6.37)。 对 于 某 个 co 1], A z=Aat 
(1 一 X41)5。 然 后 通过 凸 函 数 性 质 

0< Daf a) — O E A, 

< VpAif (a) + d—a) f()) — flad pa; BDH —a,)) 
WU pA =p M1—Vpai=q. FHM p 求 最 大 化 ， 得 到 式 (1. 6. 37), Oo 
问题 1.36 + 是 在 直线 妇 上 严格 正 的 概率 密度 函数 (PDF)， 定义 Kullback-Leibler # Æ 
Dlg f). 证 明 D(g|f) 下 宇 0。 


接 下 来 ， 假 设 fe fcæ)da < cote | |a [eFCz)dzr <0, EALAR 


=i 


— | xg (x)dx + DIN (1. 6. 38) 


在 满足 ||z|g Cz)dz < off PDF g 上 在 唯一 的 PDF g "ecerF(z) 处 取得 最 小 值 ， 并 计算 这 
个 最 小 值 。 
解答 Kullback-Leibler 散 度 D(g || res 


Dig | f= fecon $2 diss, fe g(x) 


f(x) 





In 





fa) [dz < 


以 及 
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Dg P=, [etx 
界 Dle || f) >0 是 Gibbs 不 等 式 。 
现在 ; HL PDF g* (x) =e f(a2)/Z, HP, Z= |ef ode, zW= [zef odz, 则 





g(a) oe. 
In f@) az = 


T- Jee" dz, 接着 ， 有 


` EEn = 
Diet | = Sle sayin Sdz 














oF = Feroa InZ)dz = GW ZinZ) = Ž — nZ 
并 得 到 
— [zg (2)de + D(x" || f) = 一 nz 
这 是 问题 最 后 部 分 涉及 的 最 小 值 。 
事实 上 ， 对 于 任何 使 得 | |z|g(z)dz < ce 的 PDF g, 设 g(z)==g(z)/f(z),， 有 





Dee lg) = fein gis dz = faco migz] fade 
g Gr) 


一 一 faf Daad + [A Daang + InZ 


È — [zg (ade + Deg PEES 
这 说 明 
— [ag adz + Dig Ip =— fzg' (x)dz+ Dog" | +Dell 2") 


由 于 Dlg || g” ) 之 0， 除 非 e=g* (此 时 D(g || g°)=0), 结论 成 立 。 口 
备注 1.6.1 式 (1.6.38) 的 最 小 值 性 质 在 多 个 领域 中 有 重要 且 广 泛 的 应 用 ， 如 统计 物理 、 
遍历 理论 和 金融 数学 。 我 们 建议 读者 参考 文献 [109] 做 更 多 的 了 解 。 
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Information Theory and Coding by Example 


编码 理论 简介 





2.1 Hamming 距离 ， 码 字 的 几何 特征 ， 码 本 规模 的 基本 界 

为 了 更 好 地 理解 ， 建 议 在 第 一 次 读本 章 时 专注 于 二 进 制 的 情况 ， 即 信道 中 传送 的 符号 
为 0 或 1。 

就 像 我 们 之 前 看 到 的 ， 在 MBSC 情况 中 , 行 错 误 概率 pE (0，1/2)，ML EMAAR 
的 是 与 接收 到 的 二 进 制 码 字 y”” 具 有 最 大 数目 相同 数位 的 码 字 xs”。 事 实 上 ， 如 果 接 收 到 
y™, ML BGS RA HH Fa RE 


(N) (N) (N) N) 
A ael 


PCycY | xcm ) 一 pr cael Gy | =p) 
= (1—p)" reed 
在 这 里 ， 
6x” yy) = RE a 关 yi 的 数字 i 的 数目 (Zel. 1a) 
FE STR Fx” =r eaey My” =y yn 的 Hamming 距离 。 由 于 第 一 项 (1 一 p)* 不 依 
赖 于 x ， 译 码 器 寻求 最 大 化 第 二 项 ， 也 就 是 最 小 化 SaM, yY) 0<p/A-po< 
Ww PEO V2 
Hamming 距离 的 定义 式 (2. 1. 1a) 可 以 被 扩展 到 g 进 制 序列 。g 进 制 码 字 空间 Ns 二 
{10，1，*…，g 一 1}*N (集合 J], 二 {0，1,，…，g 一 1} 的 NN 次 Cartesian R) # [AJ HK (2. 1. la) P 
定义 的 距离 叫 作 长 度 为 N 的 g 进 制 Hamming 空间 。 它 包含 gx 个 元 素 。 在 二 进 制 情况 下 ， 
H n= (0, bi 
WF S= rey 和 0 二 0…0 的 距离 6(x*”，0”) 在 编码 理论 中 起 着 十 分 重要 的 
YEH, EME AGS” HEE, WE wa), 
wx”) = 满足 zi 了 关 0 的 数字 i 的 数目 GAA 
引 理 2.1.1 KASAN, YVERN 上 定义 了 一 个 距离 : 
Gi) OKEAN, YPN FEM, yM)=0 当 且 仅 当 xm =y™ 
CE 
(iii) a(x” P a EE ey y 人 2” )( 三 角 不 等 式 ) 
证 明 ” (i) 和 (i) 的 证 明 很 明显 。 为 了 验证 (iii)， 观 察 到 对 于 任何 使 得 x; 关 zx; 的 i 存在 两 种 
可 能 : 或 者 YF Tis 那么 距离 算 在 人 y™) A, 或 者 zÆ Yis 那么 距离 算 在 SAA 
2), 国 
几何 上 ， 二 进 制 Hamming 空间 .Nw,; 可 以 被 认为 是 在 NN 维 空间 中 单位 立方 体 的 顶点 
集合 。Hamming 距离 等 于 从 一 个 顶点 到 另 一 个 顶点 需要 经 过 边 的 最 小 数目 。 在 N 较 小 的 
情况 下 通过 图 示 辅 助 阐述 是 很 好 的 方式 ， 见 图 2-1。 
接 下 来 将 讨论 Hamming 距离 的 几何 和 代数 性 质 ， 二 者 在 编码 理论 中 均 有 重要 作用 。 
在 任意 度量 空间 中 ,可 以 考虑 一 个 给 定 码 字 x'” 周 围 半 径 为 R 的 球 : 
de ESE™ v9 PSR} (2.62) 
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一 个 重要 ( 且 困 难 ) 的 问题 是 计算 在 一 个 给 定 的 Hamming 空间 里 能 装 下 的 给 定 半 径 且 不 重 
到 的 球 的 最 大 数目 。 
观察 到 码 字 服从 mod g 加 运算 : 
x™ + y™ = (x, + y mod q Cey + yn)mod q (2. 1. 3a) 
这 使 得 Hamming 空间 .和 iv,, 成 为 一 个 交换 群 ， 其 中 零 码 字 0' 天 0…0 作为 群 中 的 零 ( 码 字 
可 以 通过 乘积 发 挥 强大 的 功能 ， 人 参见 下 面 ) 。 

对 于 gq 二 2， 我 们 有 一 个 包含 两 点 的 码 字 符号 集 {0，1)}， 即 两 元 域 E， 其 中 存在 下 列 运 
算 ; 0+0=14+1=0+1=1+0=0, 0 十 1=1 十 0 二 1*1 二 1。( 已 知 域 是 包含 两 个 可 交换 运 
算 ( 加 法 和 乘法 ) 的 集合 ， 满 足 结合 律 和 分 配 律 的 标准 公理 。) 因 此 ， 在 二 进 制 Hamming 空 
间 6r,; 中 的 每 个 点 都 是 自 反 的 ，x 中 和 填 x 中 二 0 中 当 且 仅 当 x 中 二 x EEE, Hy 
域 ,上 的 线性 空间 ， 包含 i A xi) = y 4 0 本 Sa T u 

所 以 ， 所 有 9 进 制 的 加 法 都 可 以 理解 为 针对 每 个 数位 并 且 是 mod q 的 。 

引 理 2.1.2 .和 6@N,, 上 的 Hamming 距离 在 群 变 换 下 不 变 ; 





OC? 十 zy 4 2) = HG 59") (2.1. 3b) 
证 明 对 于 所 有 i=l, bc | N Fil x; 5 Yi» z;E {0, 1, i i gt} 数位 mF mod q 和 
2 十 mod 9 与 数位 z; My, 具有 相同 的 关系 (二 或 去 )。 Oo 


— 4 Ft 5 BOA ASF Bn CFO na OTR AE BETAS IBEN AR Sl) YS SE 
布 (与 源 信息 是 等 概率 分 布 的 假设 一 致 )。 这 里 有 一 个 假设 ， 即 发 送 方 和 接收 方 都 知道 编码 
方案 。Shannon 编码 定理 保证 在 某 种 情况 下 ， 存 在 渐 近 最 优 的 码 字 达 到 信 源 的 信息 速率 和 
信道 容量 的 极限 。 此 外 ，Shannon SCT 证 明 几 乎 所 有 码 字 都 是 渐 近 最 优 的 。 然 而 ， 在 实际 
情况 中 ， 这 些 事实 作用 有 限 : 我 们 想 要 具有 明晰 形式 的 最 优 编码 。 此 外 ， 可 以 快速 编码 和 
译 码 并 能 最 大 化 信息 传输 速率 的 编码 也 是 我 们 所 追求 的 。 

所 以 ， 假设 信 源 发 送 二 进 制 序列 w” 二 ww…u,，wi 二 0，1。 为 了 让 系统 整体 的 错误 概率 
在 n>co 时 趋 于 0， 我们 必须 以 更 长 的 码 字 x CI yu, HH N~Ro'n, 0<R< 
1。 然 后 ， 信 源码 字 x"” 发送 到 信道 ， 被 转化 成 男 一 个 码 字 y™E. 和 @N,:。 以 式 (2.1.3a) 的 
形式 表示 两 个 码 字 因数 位 内 容 不 一 致 而 造成 的 错误 是 十 分 方便 的 : e = yO 一 x = 
xVM Py, RAS MyM =x +e, HU, RM Fe” 有 越 多 的 数位 为 字 1， 表 示 越 
多 的 符号 被 信道 失真 。 随 后 ，ML 译 码 器 产生 一 个 猜想 码 字 x%”， 它 与 x”” 相 同 或 者 不 相 
同 ， 继 而 重建 序列 ww”。 在 一 对 一 的 编码 准则 下 ， 译 码 最 后 的 步骤 (理论 上 ) 是 明显 的 : 我 
们 仅 需 将 映射 x 一 x 取道 映射 。 直观 地 说 ， 一 个 好 的 码 在 码 字 e' 不 包含 “ 太 多 ”的 非 
零 数 位 时 ， 需 能 使 接收 方 “纠正 ”错误 序列 e” 。 

回 到 有 行 错误 概率 p<1/2 的 MBSC: ML 译 码 器 选择 一 个 码 字 x'%" 使 得 码 字 e' 有 最 
少 的 含有 1 的 数位 。 在 几何 上 : 

xs € My HE Hamming E H ò LS” 距离 最 近 的 码 字 (2.1.4) 

相同 的 准则 可 以 在 q 进 制 的 情况 下 使 用 : 我 们 寻找 与 接收 序列 最 接近 的 码 字 。 这 个 准则 的 
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一 个 缺陷 是 ， 如 果 几 个 码 字 与 接收 的 码 字 都 有 相同 的 最 小 距离 ， 我 们 就 会 迷惑 了 。 在 这 种 
情况 下 ， 我 们 或 者 从 中 任意 选择 一 个 码 字 (可 以 随机 选取 也 可 以 依据 消息 内 容 来 选取 ， 这 
与 所 谓 的 列表 译 码 相 关 )， 或 者 当 需 要 高 质量 传输 时 ， 我 们 拒绝 译 码 接收 到 的 码 字 并 要 求 
发 送 方 重新 传输 。 


定义 2. 1. 3 我 们 称 N 为 二 进 制 码 2 前 长 度 ，M， 一 # 2 是 码 大 小 而 p， = Eem 


的 信息 速率 。 如 果 码 本 中 任何 合法 码 字 有 多 达 了 eres eee 则 码 
2X vy BO D — BRAT RW. TM E- BRA AEB OR, MRR Sx” PR BIA E wk 
变 ， 产 生 的 码 字 依旧 比 其 他 码 字 (严格 地 ) 更 接近 x (也 就 是 x 在 准则 (2.1.4) 下 依旧 可 
以 从 被 污染 的 码 字 猜 出 来 )。 一 个 码 的 最 小 距离 (简称 距离 )d 定义 如 下 

= OI Oe Bx We (2.1.5) 
ABEE n BY ie) FB BS AE BEA RH i dd (Bw) A pC Pw). 


对 于 信息 速率 p= EM yo HEL CHE yg» ERE KILI AT DLS A FZ 


也 就 是 说 ， 一 个 码 &YN， Se r= ln 9B xe amy” © xa 0s 
y =r, BA RBs’ Ax” a EKNER SON, x’) >r, MEZ WE E- 4 
误 可 纠 码 。 也 就 是 说 ， 一 个 码 字 中 即使 有 多 达 E 位 错误 却 依 旧 比 其 他 码 字 更 接近 原 码 字 。 
几何 上 ,这 一 性 质 意 味 着 码 字 周围 半径 为 EE 的 球 互 不 相交 : 
Brig x :五 ) NN By, Cx’ E)=O, 对 于 所 有 的 区 六 ,XY E ny 

接 下 来 ， 一 个 码 &w 叫 作 D -错误 可 检 码 ， 如 果 一 个 码 字 周围 半径 为 D 的 球 不 包含 男 一 
码 字 。 等 价 地 说 ， 交 集 多 wx ，D) 门 Nw 退 化 成 一 个 点 x 个 。 

长 度 为 N、 大 小 为 M、 最 小 距离 为 4 的 码 被 记 为 LN，M， Dj 码 。 说 到 LN，Mj 或 者 
LN，dj 码 ， 我 们 指 的 是 长 度 为 N 大 小 为 M 或 者 最 小 距离 为 d WH. 

为 了 理解 这 个 定义 ,我 们 来 证 明之 前 提 到 的 EE- 错误 可 纠 码 的 等 价 定 义 。 首 先 ， 假设 
多 个 半径 E 的 球 不 相交 。 然 后 ， 对 一 个 码 字 中 有 多 达 正 位 变化 而 产生 的 新 码 字 依旧 在 原 
码 字 对 应 的 球 内 ， 所 以 该 新 码 字 将 离 其 他 码 字 更 远 。 反 过 来 说 ， 假 设 我 们 的 码 有 这 样 的 性 
质 : 在 一 个 码 字 中 改变 正 个 数位 不 会 产生 跟 另 一 个 码 字 距 离 相 同 或 更 近 ( 对 比 起 原 码 字 ) 的 
码 字 。 在 一 个 码 字 中 正好 改变 正 个 数位 ， 所 产生 的 码 字 除了 能 落 入 原始 码 字 周围 的 球 ， 不 
能 落 在 任何 半径 三 的 其 他 球 内 。 如 果 我 们 做 更 少 的 数位 改变 ， 同 样 我 们 得 到 的 码 字 不 会 落 
在 其 他 任何 球 内 ， 因 为 如 果 是 的 话 ， 那 么 往 第 二 个 球 中 心 移 动 新 码 字 迟早 会 产生 与 原始 码 
字 距 离 为 下 ， 距 离 第 二 个 码 字 距离 之 E 的 码 字 ， 而 这 是 不 可 能 的 。 

对 于 一 个 D -错误 可 测 码 字 ， 距 离 d 宇 D 十 1。 此 外 ， 距 离 为 4 的 码 字 能 检测 & 一 1 个 
错误 并 能 纠正 (d 二 坊 /2 个 错误 。 
备注 2. 1.4 定义 2.1.3 意味 着 一 个 码 字 检测 出 至 少 DD 个 错误 并 纠正 至 少 E 个 错误 。 一 些 
学 者 对 这 个 事实 总 结 了 一 点 ,将 DAE 确定 为 具有 以 上 性 质 的 最 大 值 。 我 们 遵从 传统 的 
做 法 将 码 字 检测 和 纠正 的 能 力 以 不 等 式 而 非 等 式 来 定义 ， 尽 管 在 接 下 来 许多 例子 中 声明 一 
个 码 字 检测 DD 个 或 纠正 E 个 错误 就 意味 着 了 或 E 而 不 是 更 多 。 比 如 参见 定义 2. 1.7。 
定义 2.1.5 在 2.3 节 我 们 系统 地 学 习 了 所 谓 的 线性 码 。 线 性 结构 建立 在 空间 .rw., 中 ， 其 中 的 
字母 表 大 小 g RA P WER, 其 中 p 为 奇数 :为 正 整 数 ， 在 这 个 情况 下 字母 表 {0，1，…， 
gq 一 1 形成 一 个 域 FE， 其 中 引入 了 两 个 合适 的 运算 : 加 法 和 乘法 。 参见 3.1 节 。 当 s=1， 
即 g 是 奇数 时 ， 两 个 运算 都 可 以 理解 为 标准 的 mod q 运算 。 当 是 一 个 有 着 加 法 十 和 乘 
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法 ， 的 域 时 ,集合 .6N,, 二 了 变 成 了 FF, 上 的 线性 空间 ， 其 中 的 运算 包含 按 元 素 逐 个 对 应 
相 加 和 与 标量 相 乘 ， 这 些 运算 都 可 以 与 中 的 运算 相对 应 。 也 就 是 说 ， 对 于 x = 2, ry 
Ay =y yn MYER, 
x™ + y™ = (a + yD len Hyn) ye x = (ye a) (ye any) (2.1. 6a) 
当 q=p, q 进 制 LN，M，d] 码 2 AN 被 称 为 线性 的 如 果 它 是 和, 的 线性 子 空 间 。 也 就 
是 说 ，. 多 wx 有 这 样 的 性 质 : MR”, YVEXKn, PAxY HyS ELNA Yy sx” EN 对 
FMA YER, Mat. WF-TFRABFZ,. BAKNMAM=¢q, PRAL, es NP 
取 值 并 给 出 了 码 字 的 维度 ， 即 线性 独立 码 字 的 最 大 数目 。 对 应 地 ， 我 们 可 以 写 出 二 
dim 2 。 在 常规 几何 中 ， 如 果 &= dim Y, WALA PAE k 维 的 基底 ， 即 一 个 线性 独立 


的 码 字 集合 xO, e, x MEMES xe 多 均 可 以 被 写成 线性 组 合 J) ax? WER, 


其 中 a; EF, (EXE, MR k=dim 4 ， 那 么 任何 下 个 线性 独立 的 码 字 集 合 都 是 多 的 基 
底 ,) 在 线性 的 情况 中 ， 我 们 主要 讨论 LN，k，dj 或 者 LN， kj] 码 。 
从 定义 得 知 ， 一 个 线性 的 LN,，k，dj 码 wy 总 是 包含 零 序列 0 = 二 0，…，0。 此 外 ， 
由 于 性 质 (2. 1. 3b)， 线 性 码 X 的 最 小 距离 a (Wn) 等 于 非 零 码 字 x*”E Yn 的 最 小 重量 
w(xn)。 参 见 式 (2. 1. b). 
最 后 ， 我 们 定义 所 谓 的 码 字 x 和 y WIR, 为 w 二 x 人 y， 其 元 素 为 
w= minkg.y,), NN (2.1. 6b) 
线性 码 的 许多 性 质 已 经 在 这 一 节 中 提 及 ， 证 明 中 的 一 些 细节 将 在 后 面 提 到 。 
线性 码 的 一 个 简单 例子 是 重复 码 罗 vC.352w。， 形 式 为 
R= ge 


它 能 检测 N 一 1 个 错误 和 纠正 | | 个 错误 。 一 个 线性 的 奇偶 校 验 码 


Py = = {x AP = = ZL En IT es | = 0} 
只 能 检测 一 个 错误 并 且 不 能 纠正 它 。 
观察 到 在 中 心 为 z=” 的 Hamming 空间 .XU2v,, 的 球 的 体积 为 


N 
Wh) = fey te Re fle- 1.7) 


ERREFE D EHn HEF. 
有 趣 的 是 考虑 N 取 大 值 ( 理 论 上 ，N->co) 并 分 析 码 &wN 的 核心 参数 ， 比 如 信息 速率 


pH) = 98 坦 儿 和 每 个 数位 的 距离 了 (多 ) 一 内 光一 。 我 们 的 目标 集中 在 好 的 码 ， 即 有 很 多 


码 字 (这 意味 着 可 以 增加 信息 速率 ) 和 大 的 码 字 间距 离 ( 这 意味 着 可 以 增加 检测 和 纠正 的 能 
力 )。 从 这 一 点 来 看 ， 理 解码 字 的 基本 界 十 分 重要 。 
KEX N 距离 为 4 的 g 进 制 编码 所 含 码 字 的 最 大 数目 通常 由 上 界 M; CN, d) 给 出 。 
我 们 先 从 最 基本 的 事实 说 起 : M; CN，1) =q, Mj (N，N) =q, Mi (N, d)< 
qM*(N 一 1，d)。 在 二 进 制 情况 下 ，M; (N，2s) 二 M3 (N 一 1，2s 一 1) (简单 推 洽 可 得 )。 
事实 上 ， 如 果 我 们 希望 保持 很 好 的 错误 检测 和 错误 纠正 的 性 能 ， 码 字 的 数目 不 能 过 
多 。 码 的 参数 有 多 种 界 ， 最 简单 的 界 是 在 19 世纪 40 年 代 晚 期 由 Hamming 发 现 的 。 
定理 2.1.6 (Hamming #)(i) wR q 进 制 码 &N 纠 正 巨 个 错误 ， 那 么 它 的 大 小 M= HKE AN 遵从 
M < gq" /vn E) (2. 1. 8a) 
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对 于 线性 LN，, 上 kj] 码 上 式 可 写成 
N—k > log, (un,,(E)) 
Gi) FAL, E=L(d—-1)/2], 
M; (N,d) <q" /vn (E) (2. 1. 8b) 
证 明 OBP ECQVAB AM E - 球 必须 是 非 交 的 。 所 以 ， 覆盖 的 点 的 总 数目 等 于 乘积 
una (EF)M， 它 不 能 超过 q“ Bl Hamming 空间 .和 ov,, 的 基数 。 
Gi) BMH, MRAvE—PON, M, d], 那么 如 前 所 述 ， 对 于 E=L(d 一 1)/2]， 
球员 Ne V E), XM CRNA. KA By. x”, DA 


N 
Wng(E) =" >) fp |e 


而 所 有 球 的 并 集 写 为 
U Byna ME) 
Meg, 


OREH Na Po ERHI + Hy. = 9". 四 
我 们 看 到 寻找 好 的 码 实 际 上 变 成 了 一 个 几何 问题 ， 因 为 一 个 能 纠正 E 个 错误 的 好 的 码 
党 Nw 必须 以 半径 为 E 的 球 对 Hamming 空间 进行 紧密 填充 。 一 个 能 够 真正 紧密 填充 的 码 儿 KN 
有 另外 一 个 优势 : 码 不 但 能 纠正 错误 ， 而 且 不 会 导致 拒绝 译 码 。 更 确切 地 说 法 如 下 。 
定义 2. 1.7 DRAHE =M W E -WARN WREN Hamming 界 以 等 号 成 立 : 
M = q" /VN (E) 
则 称 这 个 码 是 完美 的 。 如 果 一 个 码 字 多 x 是 完美 的 ， 每 个 码 字 凡 E .和 vv 属于 一 个 (唯一 的 ) 
球 # 组 ze(x"”)。 也 就 是 说 ,我们 总 能 通过 一 个 码 字 来 译 码 y” : MARAH S EE 时 能 得 到 
正确 的 答案 ， 而 过 下 时 就 会 得 到 错误 的 答案 。 但 我 们 永远 不 会 在 译 码 的 时 候 出 现 问题 。 
寻找 完美 二 进 制 码 问题 在 20 年 前 就 解决 了 。 这 些 码 只 存在 于 : 
(a) E=1; 在 这 里 N=27'—1, M=2 ， 这 些 码 对 应 于 所 谓 的 Hamming 码 。 
(b) E=3: 在 这 里 N= 二 23，M 二 2*， 它 们 对 应 于 所 谓 的 (二 进 制 )Golay 码 。 
Hamming 码 和 Golay 码 都 将 在 这 讨论 。Golay 码 ( 连 同一 些 改动 ) 被 用 在 美国 的 航空 项 
HE: 早 在 20 世纪 70 年 代 ， 经 由 这 种 码 编码 的 照片 就 从 火星 和 金星 传 出 ， 照 片 的 质量 很 
不 错 ， 不 需要 任何 进一步 提升 画 质 的 处 理 。 在 苏联 的 (和 早期 美国 的 ) 宇 宙 飞 船 中 其 他 码 也 
同样 被 使 用 (我 们 以 后 也 要 讨论 )， 用 它们 编码 的 照片 质量 一 般 不 高 ， 往 往 需要 根据 照片 的 
统计 特征 进一步 地 操作 处 理 。 
如 果 我 们 考虑 非 二 元 码 ， 那 么 对 于 三 元 码 进 制 存 在 不 止 一 个 完美 码 (同样 以 Golay 命名 ) 。 
我 们 现在 描述 一 系列 直接 从 已 知 码 中 构造 新 码 的 构造 方法 。 
例子 2. 1.8 新 码 的 构造 包括 : 
(GD 扩展 : 遵从 一 个 公共 的 准则 对 码 绑 wy 中 的 每 个 码 字 x 二 zz…zxw 增加 一 个 数位 
zn+1， 即 所 谓 的 奇偶 校 验 扩展 需要 在 符号 集 域 FE PA xy 十 » zi 一 0。 显 然 ， 扩展 码 


1<j<N 


多 与 原始 码 &Nx 有 相同 的 大 小 ， 距 离 4d(2A DSF dn) Adn). 

Gi) AM: 从 码 字 xe 2(=Ly) 中 删除 一 个 数字 。 删 除 后 得 到 一 个 N 一 1 长 的 码 字 
Knis HEB dAn, Ry i MEn HKD, Bd By ISd(Xy)—1. 

(iii) 清除 : 简单 地 删除 一 些 码 字 x€E WW。 例如 ， 在 二 元 码 情 况 下 ， 从 一 个 线性 码 中 
删除 所 有 包含 奇数 个 非 零 数 位 的 码 字 ， 将 可 以 得 到 一 个 线性 子 码 ; 在 这 种 情况 下 ， 如 果 原 
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始 的 码 字 距 离 是 奇数 ， 则 经 删除 后 得 到 的 码 字 会 有 更 大 的 距离 。 

(iv) 添加 : 与 删除 相反 ， 比 方 说 ， 将 每 一 个 码 字 的 补 码 ( 即 N 长 码 字 中 的 1 由 0 圭 
换 ， 反 之 亦 然 ) 加 入 到 二 进 制 码 字 多 w 中 。 记 扩张 后 的 码 字 为 懈 、， 可 以 得 到 d y= 
min{d(@y), N—d(#y)], HP 

ACE Ny) = mak Oe ok ake oe eC el 

(v) 缩短 : 取出 所 有 在 第 ; MAS Fe” CBR, RAR ATR hE 
x, =0 位 缩短 ) 。 这 样 一 来 ， 原 始 的 二 元 线性 LN，M，q] Xn 就 被 缩减 为 二 元 线性 码 
NG), KKH N-1, KAA M/2 KM, ERAF d 或 在 一 般 的 情况 下 大 于 0。 

(vi) 重复 : 以 固定 次 数 重复 码 字 x( 二 x 下 )EN， 比 如 说 重复 m 次 ， 则 产生 了 一 个 
级 联 的 (Nm) F xx…x。 重 复 的 结果 就 是 长 为 Nm WBF, HERI dK imn) = 
md( Bn). 

(vii) 直 和 : 给 定 两 个 码 &Nw MEN ÉR- DRUKKE = (xx: LEK, xE 
儿 ')。 值 得 指出 的 是 重复 和 直 和 的 构造 都 不 是 很 有 效率 ， 两 者 中 的 任意 一 个 在 编码 中 都 不 
是 很 流行 (尽管 我 们 将 会 在 例子 和 问题 中 继续 探讨 这 些 构造 方法 )。 事 实 上 一 个 更 有 效率 的 
构造 是 

(viii) 块 积 (x|x 十 x ); 对 于 [LN，M, d] 和 [EN，M’,，d'] 码 &w 和 2&NXN， 如 下 定义 一 
个 2N KAP n | Bu 

Ite C= 2) € Bysxit= BM Ve Bh} 
这 就 是 说 ， 每 个 %YUN | 多 w 中 的 码 字 是 ev 中 的 码 字 级 联 上 其 与 多 N 中 码 字 相 加 的 结果 ( 通 
常情 况 下 ， 在 这 种 结构 中 必 w 或 %A 中 都 不 是 线性 的 ) 。 最 终 码 字 是 由 .Yiw | .YN 表示 ， 大 
小 为 
# (By l|& x) = Ht Bu wd 
为 了 便于 理解 ， 可 以 练习 验证 上 述 码 的 距离 
du | wv) = min[2d(Ly) dK v)] 

Cix) 348 2B WERE AY) BE ee SE Hy, ARB US pp): 对 于 Sa anA y= 
Xiyw， 点 积 运算 如 下 
M e yM) e y beet ty yN 
运算 结果 将 从 F 中 产生 。 对 于 一 个 线性 LEN，k] 码 绑 yw， 它 的 对 偶 码 NW B—-TRIELN, 
N 一 K] 码 ， 定 义 如 下 

WM En EN) (2.1.9) 

BR, (ZEX. WA, dimMptdimRv=N. WHA = 多， 这 种 码 被 称 为 自 
偶 码 。 
举例 2. 1.9 (a) EAREN, M, d| BAs 的 距离 是 奇数 ， 这 个 码 字 可 以 被 扩展 为 码 距 
为 d 十 1 的 LN 十 1，M] 码 人 WN+。 

(b) 证 明 已 -错误 纠 错 码 .8w 能 被 扩展 为 可 检测 EHI 个 错误 的 检 错 码 和 AN 。 

(c) 证 明 一 个 完美 的 二 进 制 码 的 距离 是 一 个 奇数 。 
解答 (a) 将 数位 ZN 加 到 LN， M] HX yN PAF xa eart, 得 到 LN 十 1， M] 1 
Hy» KPa = 》) zi 。 如 果 Yw 的 距离 d RK, WA, 的 距离 是 4 十 1。 实 际 上 ， 


1<j<N 


如 果 一 对 码 字 X, x' EN, Ho x')>d, 则 扩展 的 码 字 x+ ， x A Oke x',) Sex, 


(x 
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2 )>d, SW, MR SGxz，x ) 一 4， 新 码 的 距离 就 会 增加 : dx, x ) 一 d 十 1。 

(b) E -错误 纠 错 码 字 的 距离 d 严格 大 于 2E。 因 此 ， 上 述 扩展 得 到 的 码 距离 严格 大 于 
Pie 对 于 一 个 完美 的 下 -错误 纠 错 码 字 ， 其 距离 最 多 为 2E 十 1， 因 此 只 能 等 于 2E 十 1。 
举例 2. 1. 10 证 明 不 存在 定义 在 本 上 ， 码 长 为 90 、 码 本 大 小 为 2” 的 完美 op rage 
hii 我 们 可 能 想 知道 是 否 存在 长 度 N= 二 90， 大 小 M=2 WER 2 -错误 纠 错 码 ， 因 为 


Dan key ae 1 +90 + 20288 = 4096 = 2” 


且 
MX wage) = 2" 2 oe Oren 
然而 ， 这 种 码 是 不 存在 的 。 假 定 它 是 存在 的 ， 且 全 零 字 序列 0 二 0…0 是 一 个 码 字 。 那 么 ， 
这 个 码 必 须 有 d 二 5。 考 虑 88 个 仅 有 三 个 非 零 数位 的 字符 ， 并 且 它 们 头 两 位 都 是 1: 
1110…00，1101…00，…，110…01 Ged. 10) 
这 些 字符 中 的 每 一 个 到 某 个 特定 码 字 的 距离 不 应 该 大 于 2. PEEVE, 1110-00 的 码 字 必须 
包含 5 个 非 零 数 位 (因为 全 零 序 列 是 一 个 码 字 ， 只 有 包含 5 个 非 零 数 位 才 可 能 满足 d=5 )。 
假定 该 码 字 是 
111110…00 
上 面 这 个 码 字 与 (1110…00) 随后 的 两 个 字符 的 距离 都 是 2 
11010-00 和 11001…00 
继续 这 种 构建 ， 可 以 看 到 表 (2. 1. 10) 中 的 任意 字符 都 被 有 5 个 非 零 数 位 的 码 字 吸引 ， 并 且 
(2. 1. 10) 中 该 字符 后 面 的 另外 两 个 字符 也 被 同一 码 字 吸 引 。 但 是 88 是 不 能 被 3 整除 的 。 口 
下 面 我 们 讨论 码 的 界 。 
定理 2.1.11 (Gilbert-Varshamov(GV) 界 ) 对 于 任意 的 q>2, d>2, EÆ— A q 进 制 的 
[N, M, d] Xn, URË 
M= # Zn >q ina ad —1) C2 1529 
证 明 考虑 这 样 一 个 在 所 有 最 小 距离 为 d KEAN 的 码 中 具有 最 大 码 本 大 小 的 码 。 那 
A, 任意 字 y"”E€ .6@N,, 到 某 个 码 字 的 距离 必须 三 d 一 1。 否 则 ， 可 以 将 y” 加 入 码 本 中 ， 并 
不 改变 码 的 最 小 距离 。 因 此 ， 码 字 周 围 半径 为 d 一 1 的 球 填充 了 整个 Hamming ZA y.o 
就 是 说 ， 对 于 最 多 码 字 数 的 码 w 有 
CH PN d = Dg 
正如 此 前 提 及 ， 从 一 个 码 ( 或 码 的 集合 ) 生 成 另 一 个 码 有 很 多 方法 。 通 过 运用 截断 且 删 除 
每 个 码 字 x 的 最 后 一 个 数位 cy, APAFA RAF ROWER. MRR, 有 最 小 距离 
d>>1， 则 新 码 光 vv-: 的 最 小 距离 & 一 1， 且 和 .和 的 大 小 相同 。 截 断 过 程 会 导致 有 如 下 界 。 口 
定理 2. 1. 12 (Singleton 界 ) 对 最 小 距离 为 d 的 任意 g 进 制 码 &N， 可 以 得 到 如 式 子 
M= + Bx M NG) sao E Elele 129 
证 明 ECN, M, dj BWs 中 依然 实施 截断 : 对 于 每 个 码 字 rEZ, RITHM R E — 
个 数位 。 新 码 是 2 Sd—-1 WN, M, d ] 码 。 重 复 这 个 过 程 d 一 1 次 ， 得 到 一 个 大 小 同 
RAM, BAF 1A ON—d+1) 85, XP DATA KA Hamming 空间 .8 n-ati.’ 
Bt Py ass, =o". 因此 可 以 得 到 结果 。 回 
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与 Hamming 界 一 样 ，Singleton 界 中 等 式 的 情况 吸引 了 很 多 特殊 的 兴趣 。 
定义 2.1.13 如 果 在 Singleton 界 中 有 如 下 等 式 ， 则 称 一 个 g 进 制 的 线性 LN，&，d] BH 
最 大 距离 分 离 (MDS) 
d= N—-k+1 Coanl: 139) 
我 们 将 在 后 面 看 到 ， 和 完美 码 相 似 ，MDS 码 的 家 族 中 所 包含 的 码 也 是 相当 少 的 。 
推论 2. 1.14 RAM N, d 是 最 小 距离 为 d HBX, 的 最 大 尺寸 ， 可 得 


N N 
a LY a Se et, 
TD SM NAD < min( a DAD’! ) 


当 不 会 产生 误解 时 ， 我 们 会 省 略 系数 N ACN). 4 d~N/2 时 ， 式 (2.1.14) 中 的 上 界 

将 变 得 非常 粗略 。 这 就 是 说 ,在 N=10 Al d=5 的 二 元 [LN，M，dj- 码 的 情况 下 ， 从 表达 
式 (2. 1. 14) 得 出 了 上 界 MZ (10, 5)<18, 虽然 实际 上 并 没有 M213 HH, A, HLF 
在 一 个 M=12 的 码 。 后 者 的 码 字 如 下 所 示 : 

0000000000, 1111100000, 1001011010, 0100110110, 

1100001101, 0011010101, 0010011011, 1110010011, 

1001100111, 1010111100, 0111001110, 0101111001 
在 这 种 情况 下 ， 该 推理 给 出 的 下 界 值 是 2( 因 为 2" /v0,2(4) = 2. 6585 )， 当 然 这 个 界 精确 程 
度 远 达 不 到 令 人 满意 的 程度 (在 下 面 会 给 出 一 些 更 好 的 边界 ) 。 
定理 2. 1. 15 (Plotkin 界 ) 对 于 长 度 为 N， 距 离 为 d,， 且 N<2d 的 二 元 码 .W， 码 末 的 大 小 
M 满足 


(2. 1. 14) 


M=#2#<2| 


证 明 因为 最 小 距离 不 能 超过 平均 距离 ， 即 
M(M—l)d< 2 i ) 


ref: LEX 
另 一 方面 ， 将 码 秋 记 为 一 个 MX WHE, THERMRA RAGS. BEERE iz 
包含 s; 个 0 和 M 一 s; 个 1。 那 么 
2, 24 8x") <2 $3 SCM 一 5) (2. 1. 16) 
xe DV ER 


如 果 MBH. “4 =<M/2 Ht, MARC 1.16 HERR KE. TTNA 
M(M—1)d< INM’, à M< 


由 于 M 是 偶数 ， 这 就 意味 着 


| (2. 1. 15) 





d 
2d — N 


Suaa 
2d—N 











d 

M<2| 57% | 
当 M 是 奇数 时 ， 式 (2. 1. 16) 的 右 端 不 大 于 NG 一 1)/2， 基 于 此 可 得 

Ny a ag 
MSN USN : 

这 反 过 来 说 明 

2d d 

Met! | 

因为 ， 对 于 所 有 >0, MAL 22 长 2Lzj+1l。 E 


EE 2.1.16 AM; (N, d) Z=ALN, d] 码 的 最 大 码 本 ， 那 么 对 于 任意 NN 和 d， 有 
M; (N;2d—1) = M3 (N+1,2d) (2.1.17) 
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和 
2M; CN =1 5a) = M? (N,d) C2. 1. 18) 
证 明 A SUE (2.1.17), RREWAN, BBW 2d—-1, BAW M: (N, 2d—1) HG 
E A 取 它 的 奇偶 校 验 扩展 为 。 即 在 每 个 码 字 x 二 zi1…zw 后 加 上 数位 rna (EE DIE: =0, 
WA” EKEN N+, ERY 2d 的 码 ， 且 有 相同 码 本 Ms (N，2d 一 1)。 因 此 有 
M; (N,2d—1) < M; (N+1,2d) 
类 似 地 ， 将 最 后 一 个 数位 删除 将 可 得 到 相反 的 结果 


M; (N,2d 二 1) 三 MGON 十 1,20) 
现在 证 明 (2. 1. 18)， 给 定 一 个 LN，dj 码 ， 并 将 其 码 字 分 为 两 类 : 一 类 以 0 结尾 ， 另 一 类 
以 1 结尾。 其 中 一 类 至 少 包 含 一 半 码 字 ， 因 此 可 以 得 到 结果 。 回 
推论 2. 1.17 如 果 d 是 偶数 且 2d>N, A 
M; (N,d) <2| 4 | (2.1.19) 
和 
M; (2d,d) <4d (2. 1. 20) 
如 果 d RFRA 2d 十 1 之 N， 那 么 
M: (N,d) <2| 24 | (2.1.21) 
和 和 
M; (2d+1,d) <4d+4 (2.1. 22) 


证 明 不 等 式 (2. 1. 19) 由 式 (2. 1. 17) 得 到 ， 而 不 等 式 (2. 1. 20) 由 式 (2.1.18) 和 式 (2. 1.19) 
得 到 。 如 果 d=2d', MA 

M; (4d',2d') = 2M; Od —1,2d') < Bd = 4d 
更 进一步 ， 不 等 式 (2. 1. 21) 由 式 (2. 1. 17) 得 到 


M; (N,d) = M3 (N+1,d+1) <3| 432 


到 十 1 二 入 
最 后 ， 不 等 式 (2. 1. 22) 由 式 (2. 1. 17) 和 式 (2. 1. 20) 得 到 。 口 
举例 2. 1. 18 ”证明 g- 进 制 码 的 Plotkin 界 ， 
M; (N,d) <| 4/(a—N4—*) |, 如 果 d > NY} (2. 1. 23) 
q q 


解答 ”给 定 一 个 g- 进 制 的 LN，M，dj 码 & wx， 注意 到 其 最 小 距离 d 是 受到 平均 距离 约束 的 


1 a 
dumps -其中 3 三 Dy pox ) 


令 司 表示 多 中 所 有 码 字 的 第 ; 位 置 上 字符 JE {0,…，g 一 1) 出 现 的 总 次 数 ，i 二 1，…， 
N。 显 然 >， kk = M ， 而 第 ;位 置 对 S 的 贡献 是 


0<y<q-l 
Sy E ERT E T 
0<j<q-l 0<j<q-1 q 


Kh AE (u=uu,: 4 0, Du =M) EBM Ga, a) >) wj’ 的 二 次 函数 在 


uu 二 …u 二 M/gq 取 得 它 的 最 小 值 。 将 所 有 N 个 数位 求 和 并 令 9 二 (g 一 1)/g， 可 得 
M(M— 1)d < 0M’ N 
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这 样 会 得 到 M 的 上 界 Md (4 一 9N)“'， 和 二 元 码 的 情况 类 似 ， 这 里 我 们 完成 了 对 q 进 制 
码 的 证 明 。 oO 

目前 已 有 很 多 关于 Plotkin 界 (Hadamard 码 ) 中 等 式 成 立 的 许多 理论 研究 ， 但 是 本 书 
将 不 对 此 做 讨论 。 值 得 指出 的 是 现 有 的 编码 界 (Hamming，Singletion，GV，Plotkin) 不 仅 
仅 只 对 线性 码 成 立 。 对 于 GV 界 而 言 ， 它 是 可 以 由 线性 码 达 到 的 ， 详 见 定理 2. 3. 26. 
举例 2. 1. 19 证 明码 长 为 10， 能 纠正 2 个 错误 的 二 元 纠 错 码 ， 最 多 拥有 12 个 码 字 。 
解答 ” 码 的 距离 必须 不 小 于 5。 假 定 码 包含 M 个 码 字 ， 将 它 扩 展 为 长 度 为 6 的 L11，MJ 的 
码 。Plotkin 界 是 以 如 下 方式 工作 的 : 将 扩展 后 的 码 列 在 一 个 MXx1l 矩阵 的 M 行 中 。 如 果 
MEE i AAT sA 0 MMs 的 1， BAA 

6(M—1)M< 5) D d(x,x") <25)5,(M—s,) 


xEQ™ rex 
We Est RHS, 4 M 是 偶数 时 ，RHS 志 (1/2)，11M:。 当 M 是 奇数 时 ，RHS 寺 (1/2)。 


11(M 一 1)。 因 此 ,，M<12，。 
举例 2. 1. 20 (二 元 球 尺 寸 的 渐 近 性 ) 令 q 二 2，rE (0,，1/2)， 则 有 y(t) 二 一 rt logzr 一 (1 一 
Tt)logs (1 一 tr) (参见 式 (1. 2. 2a)) 

lim Nlogons L zN D = lim Nlogows TN D = 70) (2. 1. 24) 


解答 ” 令 尺 =[ tN 1,， 下面 和 式 的 最 后 一 项 
R {N 
ae RI = >) | | R= [rN] 


i=0 


是 最 大 的 。 实 际 上 ， 两 个 连续 项 的 比值 是 


N nae 
i+1 i pt 1 


该 比值 在 0<i<R 上 不 会 小 于 1。 因 此 有 


[z 


现在 使 用 Stirling AR: N! ~N eN S/n, WA 





N 
<un R < (R+ 1) 4 








N N—R R 
lg |p |=- (N— Rolog A Rlog 7 + OClogN) (2.1.25) 


s hee aR Re R , OUENS: 
(1-0) -N NEN tN 
ee < qlog(R + 1) + LHS 


取 极 限 R/N>r 就 可 证 得 结果 。R=| tN | 的 情形 可 以 用 相似 的 方法 讨论 。 回 
举例 2. 1. 20 在 关于 下 式 的 渐 近 性 研究 中 很 有 用 
a Naoi NlogM; (NE cN D (2. 1. 26) 


上 式 给 出 了 一 个 能 纠正 约 N 个 错误 、 检 测 约 2rN 个 错误 (也 就 是 数位 N 的 所 有 数量 的 线 
性 部 分 ) 的 码 的 最 大 尺寸 的 信息 速率 。 令 
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alt): = lim inf aC Nr) < lim sup a(N,r) =:a(r) (201 27) 
对 于 这 些 极限 我 们 有 

定理 2.1.21 记 7(7z) 二 一 rlogzr 一 (1 一 rz)logs (1 一 t)， 如 下 渐 近 界 对 二 元 码 成 立 : 
alr) <1— 7le/2),0< r<1/2 (Hamming) (2. 1. 28) 
alt) <1—17,0<r<1/2 (Singleton) (2. 1. 29) 
at) >1—7r),0<r<l/2 (GV) (2. 1. 30) 
a(t) = 0,1/2<r<1 (Plotkin) (2.1.31) 

通过 使 用 精细 的 界限 (同样 得 益 于 Plotkin 界 )， 我 们 将 在 问题 2. 10 中 证 明 

a(t) 1—2r, Ore 1/2 (2. 1. 32) 


定理 2. 1. 21 的 证 明正 是 基于 对 上 面 所 提 界 的 直接 观察 。 在 举例 2.1.22 中 ,将 有 对 Ham- 
ming 和 GYV 界 的 应 用 。 
图 2-2 展现 了 各 类 界 的 形状 。 码 的 “好 ”序列 是 指 


对 子 (r，aCN,，TzNTD) 是 渐 近 局 限于 表示 渐 近 边界 曲线 ig pert 
之 间 的 域 中 。 特 别 地 ， 一 个 “好 ” 码 应 该 位 于 GV 界 的 SA i 
曲线 之 上 。 构 造 出 这 样 的 序列 是 一 个 困难 的 问题 : 第 一 \ _ Hamming 
个 实现 渐 近 GV 界 的 例子 出 现在 1973 年 (基于 代数 几何 


思想 的 Goppa 码 )。 尽 管 本 书 讨 论 的 所 有 码 家 族 在 特殊 
EN, MMMd 上 表现 了 令 人 印象 深刻 的 特性 ， 但 这 些 码 
产生 的 值 都 低 于 GV 曲线 (事实 上 ， 它 们 使 a(r)==0 )。 图 2-2 

就 上 界 而 言 ，Hamming 和 Plotkin 不 相 上 下 ， 而 Singleton 界 逐 渐变 得 不 重要 (尽管 对 
于 特殊 的 N，M 和 4 值 它 还 是 相当 重要 的 ) 。 大 约 存在 有 十 几 个 其 他 上 界 ， 其 中 有 些 将 会 
在 本 书 的 本 节 和 后 面 章节 讨论 。 

Gilbert-Varshamov 界 本 身 不 一 定 是 最 优 的 。 在 1982 年 之 前 ， 并 不 知道 有 其 他 更 好 的 
下 界 ( 在 二 元 编码 的 情形 下 仍然 不 知道 是 否 存 在 其 他 更 好 的 下 界 )。 然 而 ， 如 果 使 用 的 字母 
RAGS q 之 49 符号 ， 其 中 g 二 p”，p 宇 7， 且 p 是 一 个 素数 ， 则 存在 一 种 同样 基于 几何 代 
数 的 构造 ， 它 将 产生 一 个 不 同 的 下 界 ， 当 N> 时 ， 给 出 (线性 ) 码 例子 将 能 逐渐 超过 GV 
HRE., ksh, TVZ 构造 会 产生 多 项 式 的 复杂 度 。 随 后 ， 又 提出 另外 两 个 下 界 : 
(a)ElkiesRR, HP g=p"+1; (b)Xing X, H q= p"[43, 175]. N. Elkies 的 文章 
“Excellent codes from modular curves” 指 出 通过 使 用 不 同 的 编码 构造 ， 同 样 可 以 改善 其 他 
字母 表 的 GV 界 。 
举例 2. 1.22 证 明 式 (2. 1.28) 和 式 (2. 1. 30) 中 给 定 的 界 ( 定 理 2.1.21 中 和 渐 近 Hamming 
及 GV 界 有 关 的 部 分 )。 
解答 ”考虑 式 (2. 1.14) 中 Hamming M GV 界 的 部 分 内 容 ， 有 

2 /on,2(d — 1) <M; (Nod) < 2% /vya (Cd —1)/2 D G2. 1233) 

Hamming 界 中 体积 的 下 界 是 平凡 的 





vw,z (LC )72 D) ia 1) /2 | 


对 于 上 界 而 言 ， 注 意 到 当 d/N<r<1/2 时 


a -i-i ( N 
a 


0<i<d-1 t 
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z d-1-i N TER N 
S ee Mig) PASSARA 


然后 ， 对 于 信息 速率 (logM2 (N, d))/N, 





1 N | 
N l(d—1)/2 | 
由 Stirling 公式 ， 当 N->ce 时 ， 上 述 不 等 式 中 的 对 数 函 数 满足 


<NlogM; CN 1+ Slog 





N 

L(d—1)/2] 

于 是 很 容易 得 到 式 (2. 1. 28) sR (2.1. 30 HWA. O 
现在 考虑 一 般 的 q - 进 制 符号 集 的 情况 。 

例子 2.1.23 令 9:==(g 一 1)/q。 通 过 修改 在 举例 2. 1. 22 中 的 论据 证明 对 于 任意 的 a> 

2，zrE(0，0)，4d -=- 进 制 的 Hamming 球 的 体积 具有 如 下 的 对 数 渐 近 线形 式 ， 


lim Š logona (LN D = lim $ logina CND = Ht re ILA) 


ah tees 
N 





N 
|> 7(r/2) ,Nlog Ti 小 nír) 





其 中 
WT) =r logre (tl r logar). e= log, la ~ 1) (2. 1, 35) 
下 一 步 ， 同 式 (2.1. 26) 类 似 ， 引 入 
EAN aD NlogM; CNAIN D (2. 1. 36) 
和 极限 
at= lim inf a” (N,r) < lim supa (N,r) =:a (r) C201, 37) 


定理 2. 1.24 对 于 所 有 0 二 tr<9， 有 


a (r) 本) 一元 /2 (Hamming) (2. 1. 38) 
a® (t) <1—r_ (Singleton) (2. 1.399 
a (r) oe 1 — A Cr) —ar GY.) CZ. 1, 40) 
a (r) <max{l1—17/0,0] (Plotkin) (2. 1. 41) 


当然 ， 式 (2. 1. 38)、(2. 1. 39) 和 (2. 1. 41) 右 侧 的 最 小 值 提供 了 这 三 个 上 界 的 较 优 选 值 。 
我 们 在 这 省 略 了 定理 2.1. 24 的 证 明 ， 把 它 留 作 一 个 练习 ， 基 本 上 是 举例 2.1.22 证 明 的 重复 。 
例子 2. 1.25 通过 修改 举例 2. 1. 22 的 解 ， 证 明 式 (2. 1. 38) 和 式 (2, 1. 40) 给 出 的 界 。 


2.2 Shannon 第 二 编码 定理 的 几何 证 明 ， 码 本 规模 的 精细 界 


在 这 节 中 我 们 将 利用 Hamming 空间 集合 给 出 Shannon 第 二 编码 定理 (或 Shannon 噪 
声 编码 定理 ，SCT/NCT; 参见 定理 1.4.14 和 1.4.15) 两 个 部 分 的 另 一 种 证 明 。 我 们 采用 
了 证 明 中 的 一 些 技巧 来 得 到 一 些 关于 编码 的 高 级 界限 。 这 些 先进 的 界 进一步 确定 了 在 定理 
2.1.6 中 给 出 的 Hamming 界 ， 以 及 在 定理 2.1.21 和 2.1. 24 中 相应 的 渐 近 结论 。 

SCT/NCT 的 直接 部 分 在 下 面 的 定理 2. 2, 1 中 给 出 ， 与 定理 1.4.14 和 1.4.15 相 比 这 
里 给 出 的 是 一 种 修改 过 的 形式 。 为 了 简洁 ， 我 们 在 这 里 只 考虑 在 空间 .ov ={0, 1)% 中 
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运作 的 (为 了 简洁 下 标 2 将 会 被 省 略 ) 无 记忆 二 进 制 对 称 信 道 (MBSC)。 从 1.4 节 中 我 们 知 
道 ，SCT 的 直接 表述 部 分 表明 对 于 任意 传输 速率 RC, HE: 
Ci) 一 列 码 户 : Viren, BRB HY, =2" 个 消息 。 
GD IRBA fy: noU, i n~NR 且 当 n 一 co 时 ， 错 误解 码 概率 趋 于 零 。 
在 这 里 C 由 式 (1.4. 11) 和 式 (1.4.27) 给 出 。 为 了 方便 ， 我 们 重新 写 出 C 的 表达 式 : 
C=1—7p), H# np) =— plogp— (1 — p)log(1 — p) (2:2. 1) 
和 信道 矩阵 是 
=|)? 5 | (2. 2.2) 


Pae D 
我 们 假定 信道 以 概率 1 一 p 正确 传输 一 个 字符 ， 错 误 的 概率 为 如， 上 述 概率 对 于 不 同 字符 
是 相互 独立 的 。 

定理 2. 2. 1 中 ， 指 出 存在 一 个 一 对 一 的 码 映射 f, 序 列 可 以 使 得 译 码 的 任务 简化 为 猜测 
码 字 六 (zxE.52v。 也 就 是 说 ， 定 理 保证 了 对 于 所 有 的 R<C， 存 在 一 个 包含 # 多 一 2 亚 序 
列 的 子 集 &NC.3v ， 在 其 中 进行 猜测 ( 译 码 ) 的 错误 概率 趋 于 0， 而 编码 映射 f; 的 确切 性 
质 不 是 很 重要 。 然 而 ， 让 映射 f 能 确切 地 展示 在 眼前 是 方便 而 有 益 的 ， 因 为 它 可 以 由 一 
个 概率 化 的 构造 (随机 编码 ) 得 到 ， 而 其 中 某 些 编码 映射 不 必 是 一 对 一 的 。 不 仅 如 此 ， 解 码 
的 准则 也 是 几何 的 : 当 接 收 到 的 码 字 ac € ,pw， 我 们 寻找 距离 其 最 近 的 码 字 f, u) € 
多 w。 因 此 ， 每 个 错误 都 会 被 声明 ， 也 就 是 码 字 是 非 唯一 的 或 者 是 多 个 编码 的 结果 ， 或 者 
是 单纯 产生 了 错误 信息 。 像 我 们 早 前 看 到 的 ， 当 概率 Pe (0，1/2) 时 ， 几 何 译 码 规则 与 
ML 检测 器 是 相对 应 的 。 这 种 检测 器 可 以 使 我 们 利用 几何 的 观点 来 构成 证 明 的 核心 。 

也 是 在 1.4 节 中 ，SCT/NCT 的 直接 部 分 的 新 证 明 只 能 保证 好 码 (甚至 它们 的 衍生 ) 的 
存在 性 ， 但 是 没有 给 出 提示 如 何 去 构造 这 些 码 (除了 再 一 次 使 用 随机 编码 方案 ， 且 挑选 它 
的 典型 的 实现 ) 。 

在 下 面 给 出 的 关于 SCT/NCT 的 阐述 中 ,我们 将 处 理 最 大 差错 概率 (2. 2.4) ， 而 非 平 
均 差 错 概率 。 然 而 ,证明 的 大 部 分 仍然 是 基于 对 码 字 平均 差错 概率 的 直接 分 析 。 
定理 2.2.1 (SCT/NCT， 直 接 部 分 ) 考 虑 一 个 MBSC， 其 信道 矩阵 且 如 式 (2.2;2) 所 示 ， 
其 中 OS p<i/2, 令 C 如 式 (2.2.1) 中 所 示 。 于 是 ， 对 任意 RRE(0，C)， 存 在 一 个 一 一 对 
应 的 编码 序列 Tas VAAT 使 得 

(i) 

n=(NR1|, # = 2" (2. 2. 3) 

Gi) 当 n->co， 在 几何 解码 法 则 下 ， 最 大 错误 概率 趋 于 0: 

e™(f,) =max Pa (在 几何 编码 规则 下 发 生 错 误 
| f,(u) RŽ): u E Y,]>0 (2. 2. 4) 

# P, Pal? | 万 (四 发 送 ) 表 示 ， 在 已 发 送 码 字 SF WHEET, BMF EHH, 中 的 
接收 码 元 的 概率 分 布 。 其 中 KE, 为 信 源 发 出 的 初始 信息 。 

为 了 进一步 解释 该 结论 ， 考 虑 下 面 这 个 例子 。 
例子 2.2.2 假设 要 发 送 一 个 信息 wE .好 ， 其 中 符号 集 吧 的 大 小 为 色 ， 该 信息 通过 一 个 信道 
seme | i i ps | 的 MBESC, 在 任意 小 的 差错 概率 要 求 下 ， 能 达到 的 传输 速率 为 多 少 ? 

XE, C=1— 40. 15) =0. 577291. Ak, 根据 定 理 2.2.1， 当 充分 大 时 ,可 达到 
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任意 小 于 0.577291 的 传输 速率 ， 且 差错 概率 可 以 任意 小 。 例 如 ， 当 想 要 实现 O.5<R< 
0. 577291 的 传输 速率 且 em <0. 015, WMH n AAKRE n>m 时 ， 存 在 符合 要 求 的 码 字 fr: 
A {0, H, 

假设 我 们 知道 这 样 一 种 码 字 f,。 如 何 对 信息 m 进行 编码 ? 首先 ， 将 m 划分 为 长 度 为 
L WR, Hep 


pn = 577291N |; 所 以 of” | = Kr < 2057291N 


logK 

然后 我 们 可 以 将 来 自 xtz- 的 块 租 入 到 符号 集 yY"” 中， 从 而 对 该 块 编码 。 对 应 的 传输 速率 为 
log|.@" |/[n/R1~0.577 291。 正 如 我 们 已 知 的 ，SCT 告诉 我 们 存在 这 样 的 码 字 ， 但 是 却 
没有 说 明 如 何 找到 (构建 ) 这 样 的 码 字 ， 而 这 正 是 困难 之 处 。 

在 进行 定理 2. 2. 1 的 证 明之 前 ， 先 研究 一 下 Hamming 23 [A] Wy 的 几何 特征 和 信道 随 
机 性 之 间 的 关联 。 正 如 1.4 节 所 示 ， 我 们 用 PC | f,(w)) 表示 Pu (。| 九 Co) 发 送 ) 的 缩写 。 
在 该 分 布下 的 均值 和 方差 分 别 为 EC* | f(a) Varl e | fa). 

ERB, EA PC |f,(w)) 下 ， 在 (随机 ) 接 收 码 字 YY 的 失真 位 数 可 以 表示 为 


DAL j AY A HH j E fw) 
这 是 一 个 服从 二 项 分 布 BinC(N， 妃 ) 的 随机 变量 ， 其 中 均值 为 
N 
ECS LEA j AY A WH] ES.) | fw] 


= 2BL1( 位 数 j EY” AWK jE fw) | fw) | = Np 
方差 为 


Var[ D AC tisk j AY A 位 数 7 了 7 在 f, (u)) | fw] 


N 
=>) Varll (tis j AY” A tik j E fw) | f,W] = NPA p) 


根据 Chebyshev 不 等 式 ， 对 于 任意 的 sE (0，1 一 p) 和 正 整 数 N 二 1/e， 发 送 码 字 f, WR, 
至 少 有 L N(p 十 e)] 个 失真 位 数 的 概率 为 


Ee Pal 力 》 
<= Pt Nte) READS FEIN? ENY 2 0 


定理 2,2.1 的 证 明 在 整个 证 明 过 程 中 ， 我们 假设 和 式 (2.2.3) 一 样 的 条 件 ， 省 略 下 标 n 
ALN, Bl 
Ci M 

我 们 还 将 假设 ML/ 几 何 解码 。 和 1.4 节 类 似 ， 我 们 用 Hamming 空间 .和 , 来 确定 信 源 
信息 集合 多 ,。 正 如 Shannon 提出 的 ， 我 们 再 次 使 用 随机 编码 。 更 准确 地 说 ， 一 条 信息 uc 
HC, 被 映射 为 一 个 随机 码 字 Fu) € Hr， 其 中 每 个 数字 均 为 独立 同 分布 且 取 值 为 0O 和 1 
概率 分 别 为 1/2。 此 外 ， 我 们 令 码 字 F, (wu) 独立 于 不 同 的 信息 UEH, BRAM, 的 字符 
Bmw u), =, uM) (无 特殊 排序 ) ， 从 而 得 到 一 族 取 自 . 知 , 的 ID 随机 字符 串 
F,(u(1))，…,F,(u(M))。 最 后 ， 我 们 令 码 字 独 立 于 信道 。 再 次 由 1. 4 节 的 分 析 得 到 ， 我 
们 可 以 认为 这 些 随机 码 元 为 .wm = (0, 13% 中 的 随机 超 字 符 串 或 码 符 号 集 ， 其 中 每 个 数 
字 均 为 独立 同 分 布 且 取 值 为 0 和 1 概率 分 别 为 1/2。 每 个 给 定 的 随机 码 本 的 采样 f(= fa) 
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(EMEA R AH m 的 超 字符 串 ) 对 应 信息 &1)，…，zxCV) 的 确定 编码 fud), = fa UM), 
即 编码 f: 参考 图 2=3。 
Se aoe oh! P E i 


Sr re Cae ene, 
图 “2-3 
正如 1.4 节 所 示 ， 我 们 将 随机 码 元 的 概率 分 布 用 多 , 表示 ， 即 
PAP, =f) = saa» 对 于 所 有 的 抽样 了 (2. 2.6) 


HEHH TZ, 的 期 望 为 &, 。 

接 下 来 的 证 明 步 又 如 下 。 首 先 ， 我 们 将 证 明 ( 通 过 重复 1.4 节 的 部 分 讨论 ) ， 当 传输 速 
率 RE(0，C) 时 ， 随 着 n>co， 对 以 上 随机 编码 的 平均 概率 的 期 望 为 

lim &,[e"*(F,)] = 0 (2. 2.7) 

这 里 ，e™(F,) 是 ew (F,(u(1))，…，F, (u(MD))) 的 缩写 ， 且 为 一 个 取 值 为 (0，1) 的 随机 
变量 ,表示 前 面 提 到 的 随机 编码 的 平均 错误 概率 。 更 准确 地 说 ， 正 如 1.4 节 所 示 ， 对 于 所 
有 给 定 的 码 字 采样 集合 f(u(1))，…，f(u(M)) EMn( 即 对 所 有 取 自 .和 wr 的 超 字 符 串 
了 f)， 我 们 定义 


ef.) = 向 了 PC( 当 用 码 体 |f(u(i)) 时 产生 错误 ) (2. 2. 8) 
1<i<M 
于 是 ， 平 均 错误 概率 的 期 望 为 
ELF] = sear >» e™(f) (2. 2. 9) 
Slut1)) ss fu MD) E HN 


式 (2. 2.9) 说 明了 (用 和 1. 4 节 类 似 的 方式 ) 存 在 一 个 确定 码 元 序列 产 ， 其 平均 错误 概 
Dd A i 





lime™(f,) = 0 (2. 2. 10) 
最 后 ， 我 们 将 从 式 (2. 2. 10) 式 推出 式 (2. 2.4), Law 
参考 引 理 2. 2. 6。 ° D oa Sam 
备注 2.2.3 由 于 认为 码 字 fU), =, Wa fw 
flu(MD)) 来 自 随 机 码 本 的 采样 ， 因 此 ， 必 须 e\e œ eT 
允许 码 字 重复 的 情况 Cf (uC 让)) 二 fu(j)) 当 fui) 发 送 接收 a 

ii 关门 ,在 这 种 情形 下 ，ML 译 码 器 将 会 出 错 。 B,,(a, m) 

当 我 们 考虑 式 (2. 2. 8) 的 右 式 的 概率 时 ， 必 须 图 2-4 

要 包含 这 种 情形 。 因 此 ,对 i 二 1,，…，M， 

我 们 定义 


P( 当 用 码 体 ffu) 时 产生 错误 ) 
1, 若 对 某 些 i 了 关 i 有 (uC(i)) = fuli) 
-rae fao <s” Jao a j Ailf(uG)), (2.2.11) 
HAMA i Ait fua) A fu')) 
现在 我 们 将 深入 讨论 细节 。 第 一 步 如 下 。 
3| 2.2.4 考虑 信道 矩阵 末 ( 参 考 式 (2.2.2)) 其 中 0 委 p<1/2。 假 设 传输 速率 R 二 C= 二 1 一 
P) A N>1I/e。 于 是 ， 对 任意 sE(0，1/2 一 访 ) ， 由 式 (2.2.8) 和 式 (2.2.9) 定 义 的 平均 
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BER FE 04 HB e, Le CF) | 服从 
M 一 1 


&,[ewe(F,)] Se ht wd NGHA D (2. 2. 12) 


其 中 ww(b) 表示 二 进 制 Hamming 空间 .JU 中 在 半径 为 6 的 球形 区 域 中 的 点 数 。 
A 令 m( 二 mn(p，e)): 二 [NC(p 十 e)]。 当 f UMD REIRE F yya) ERN 
为 球 心 的 Hamming RZ, m) 中 唯一 的 码 字 时 ，ML 译 码 器 必然 返回 码 字 fa (u(i) (S 
考 图 2-4)。 在 任意 其 他 的 情形 中 (对 某 些 & 关 i, f, UCG) EBy(y, m) E fa, (wu(k)) E 
多 v(y，m))， 存 在 错误 概率 。 
因此 
P( 当 用 码 本 f|f,(u(i)) 时 发 生 错误 ) 


< 》 POIL UDI nui)) ¢ By Cy,m)) (2. 2. 13) 
YEH y 


+ >) Plz|f, uUi > 1Cf, (uk) € By (e,m)) 


eH N ki 


借助 (2.2.5) 式 ， 右 端的 求 和 可 以 简单 地 估计 为 
>) Pfr UDI UG ¢ By ly,m)) 


YEH N 
= >) PY lf, UDI K O, fa UG > m) (2.2. 14) 
IEH N 
=P(> m tK A |f Uu) < NG UNY 
注意 到 由 于 式 (2. 2. 14) 的 右 式 并 不 依赖 于 采样 码 字 f 的 选取 ， 当 我 们 先 取 平均 uy 2 再 
取 期 望 就 可 以 得 到 式 (2. 2. 14) 的 界 。 Oo 


式 (2. 2.13) 右 端的 第 二 个 求 和 更 为 巧妙 。 它 需要 取 平 均 再 取 期 望 。 这 里 ， 由 于 随机 码 
字 F,(u(1))，…，F,(u(M)) 是 相互 独立 的 ， 我 们 有 


6.0 >) >) PCOz|F,CuC))) SIC, uk) E By Cz,m))] 


1<i<M 2€H y kži 


D D [PG |F,G)))1CF, (ul(k)) € By (asm) ] 


1<i<M k#i zE y 


= 31>) P| 


l1<i<M ki zE HN 

x [@,[L1CF, (ul(k)) E By z,m))] (2. 2. 15) 
接 下 来 ， 由 于 这 些 码 字 的 分 布 均 为 和 jw PHO, BBE, LP(z |F, (wu(i)))] 和 
EACF, (wu(k))EGBn(z，m))] 可 以 计算 如 下 


E.(P(z|F,(uG@)))] = 4 D PG |x) (2. 2. 16a) 
2 EI y 
ELIE, U) € Buz sm)] = AYP (2. 2. 16b) 
接着 在 x 域 求 和 得 到 
> X PGls) = 3) oe reise (2.2.17) 
26H y ERN ER y ER yN 


最 后 在 RAi 条 件 下 求 和 得 到 
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式 (2. 2. 15) 的 RHS= HD o oem) 


M,Z i<M ATi 


35M (2. 2. 18) 


联 立 式 (2. 2. 12) 到 式 (2. 2. 18)， 我 们 可 以 推出 EwLe™(F,)] 不 会 超过 式 (2. 2. 12) 的 右 式 。 

EFK, RIMM h HOKAR vw《m)， 其 中 尺 二 [ N(p 十 e)1。 这 里 的 讨论 类 
WF 1.4 节 且 基 于 下 面 的 结论 。 
引 理 2.2.5 假设 0 二 p 二 1/2，e 之 0 且 正 整数 N 满足 p 十 e 十 1/ N 二 1/2。 于 是 下 述 边 界 成 立 : 

ww( N(p+e) D) < 2m0 (2. 2.19) 

引 理 2.2.5 的 证 明 将 在 例 2.2.7 之 后 给 出 。 现 在 我 们 先 证 明定 理 2.2.1。 即 ， 我 们 想 要 证 
明 (2. 2.7)。 事 实 上 ， 如 果 p<1/2 且 RC=1 一 wp(p)， 则 我 们 取 ¢=C—R>0Ae>0, F 
是 得 到 (i)p 十 e 过 1/2; GiR+¢/2<1—nlpte), 4 N 取 值 非常 大 时 ，(iii) N 盖 2/e。 在 这 
FEH e AIN 的 选取 下 ， 我 们 得 到 


_ vyGm)M(M—1) _ (M—1)vy(m) 
a ,  ) Oe -~— aa a 


1 
eS >i 和 R-1+7pt+o <4 (2. 2. 20) 
于 是 ， 从 式 (2. 2. 12) 开 始 ， 我 们 得 到 
éx[e(F, ja OLR T Nto 
a (2. 2.219 


这 证 明了 式 (2. 2.7)。 因 此 ， 存 在 一 个 编码 序列 fn: FP, > Hy 满足 式 (2. 2.10), 

为 了 完成 定理 2. 2. 1 的 证 明 ， 我 们 根据 引 理 2. 2. 6， 从 式 (2. 2.7) 推 出 式 (2. 2. 4) 。 
引 理 2.2.6 考虑 一 个 二 元 信道 (并 不 一 定 要 无 记忆 )， 令 C0 为 给 定常 数 。0 二 RC 上 且 
二 LNR ]， 定 义 码 字 万: Hr Hyu FFs Hri Hy BBE Ci fy) F e Fn) d 
式 (2. 2.4)、(2. 2. 8) 和 (2.2.10) 中 所 示 。 于 是 ， 下 述 声 明 等 价 : 

(i) 对 所 有 的 RE(0，C)， 存 在 码 字 f, B limem (fr) =0. 


Gi) 对 所 有 的 RE(0，C)， 存 在 码 字 了 了， Hlimemx( fn.) =0. 


引 理 2.2.6 的 证 明 显而易见 ， 声 明 (iD) 可 以 导出 声明 (ii) 。 为 了 从 声明 (ii) 推 导出 声明 (i)， 
取 R=C 并 且 让 NN 足够 大 


R= R+> Cn =| NR’ ],M' = 2" (2. 2. 22) 
RANA, FEA > Hy OSS. WE ee 了 ,)->0。 即 
eT.) ae pS PRA GAS, | 了 ,Cu(i)) 时 发 生 错误 ) (2. 2. 23) 


M SR 


在 接 下 来 的 证 明 中 , BEM! =A] F, (el))，…，7 (CeCN)) 为 对 应 信 源 消息 gl) ，…， 
uM) E. 和 ,的 码 字 。 

方便 起 见 ， 我 们 用 PCS, —error| FURE P( 加 入 码 体 f, | 了 了 (u(i)) 时 发 生 错 误 )。 
现在 ， 式 (2. 2. 23) 的 右 端 至 少 一 半 的 加 数 P( 了 ,-error | 了 (wu(i))) 小 于 2e* (了,)。 注 意 到 ， 
由 式 (3, 2. 22) 有 

M'/2 > alse} (2. 2. 24) 
因此 ， 我 们 有 至 少 有 NO as fui) ) 
P(error| F,(u(i))) < 2e™( 7,) 
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将 这 些 码 字 重 新 列 为 一 个 新 的 二 元 码 ， 其 长 度 为 N 且 信 息 速率 为 (logM'/2)/N。 将 此 新 的 
编码 表示 为 f,， 我 们 得 到 
Eee 大》 
因此 ， 随 着 n>, e (f,)>0 且 (logM'/2)/N 一 R。 此 即 为 声明 (i)， 到 此 完成 了 引 
理 2.2.6 的 证 明 。 
于 是 ， 在 给 出 引 理 2. 2. 5 的 证 明 后 ， 定 理 2. 2. 1 的 证 明 到 此 完成 。 
举例 2. 2.7 (参考 举例 2. 1. 20) 证 明 对 正 整数 N fom, H m<N/2, B==m/N， 
26 /CN +1) ON (m) < 2? (2.2: 25) 

证 明 设 

onm) 一 提 { 点 之 间 的 下 离 之 m 在 Yr 上 与 0 的 距离 ;二 >， N 


0<k<m 


且 p=m/N<1/2, 我 们 得 到 8/ (1 一 二 1， 于 是 
(se | ， 对 0 过 hk 二 m 
对 0 过 二 m， 乘 积 变 为 


gd —p) t= (45) a-an 
> (Esha -= pa-p" 
因此 


i 


0<kEN 





N N 
a-o > 3 Ne 
0<k<m 


N 
>ra-p* >} = vo (mp C —p)™ 


0<k<m 








=i (m ) 2 NLm/N]Jlogat 1—m/N)log(1—A) 


该 式 说 明了 vn (mm) 二 2 和 8 ， 为 了 得 到 式 (2. 2. 25) 中 左 式 的 边界 ， 有 
N 
vy (m) > | | 


于 是 我 们 的 目标 变 为 检查 右 式 不 小 于 2%e/(N 十 1)。 考 虑 一 个 二 项 分 布 随机 变量 Y 一 
Bin(N，B)， 且 


N 
pk = PY = k) = | |e (1—p)"*,k =0,0,N 
于 是 ， 可 以 证 明 当 ==m 时 ，pi 取 得 其 最 大 值 。 


1 
NFI 





N 
Pn = | | pyr S 其 中 "(1 一 BY = a? 


这 时 ， 假设 k<m, 有 
Be m!(N—m)!(N—m)"* 
Pm k\(N—k)Im™* 


_ (k++ Dm, (N —m)"* 
m ° (N—m+1)(N—&) 
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由 于 等 式 的 右 端 是 2(m 一 &) 个 小 于 等 于 1 的 因 式 相 乘 ， 故 其 不 大 于 1。 类 似 地 ， 如 果 k> 
m， 我 们 可 以 得 到 乘积 
me" tN =m) 
(mt 1)*k (N—m)*™ 
基于 和 上 述 相同 的 理由 ， 其 仍然 小 于 等 于 1。 因 此 ， 比 值 pi/ba <1 从 而 得 到 设 定 的 边界 。 
口 
接 下 来 我 们 证 明 引 理 2. 2.5, 
引 理 2.2.5 的 证 明 首先 ， 由 pte<1/2 可 以 推出 m=LN(pt+eJKN/2 E 
oe NG Eo) y+ 
由 于 xPy(z) 在 区 间 (0，1/2) 内 是 一 个 严格 递增 的 函数 ， 于 是 这 反 过 来 说 明 P< 
7n(p 十 e)。 这 导出 了 引 理 2. 2. 5 的 结论 。 口 
SCT/NCT 直接 部 分 的 几何 证 明 浴 清 了 (MBSC) 容量 的 概念 。 具 体 而 言 ， 在 式 
(1.4.11)、 式 (1.4.27) 和 式 (2. 2.1) 中 对 MBSC AY C= WIA, TEM 1 说 明了 随机 
码 在 码 字 之 间 产 生 空隙 时 所 对 应 的 速率 ， 而 负 项 一 7(z2) 说 明了 当 码 字 渐 近 地 填 充 了 该 空间 
时 所 对 应 的 速率 。 我 们 接 下 来 展示 一 个 例子 。 口 
举例 2.2.8 引用 信道 容量 估计 的 相关 理论 ， 推 导 二 元 对 称 无 记忆 信道 的 信道 容量 表达 式 。 
特别 地 ， 估 计 (D 对 称 无 记忆 信道 的 容量 和 (iD) 一 个 输入 符号 集 为 {10，1} 且 输入 不 会 出 现 连 
续 的 0 的 完美 信道 的 信道 容量 。 
解答 ”信道 容量 的 定义 为 ， 能 正确 解码 接收 码 字 的 速率 R 的 上 确 界 ， 且 正确 解码 的 概率 随 
着 信息 长 度 趋 于 无 穷 而 趋 于 1。 对 于 给 定 的 输入 码 字 x 二 zi…zxn， 无 记忆 信道 的 概率 的 
经 典 形式 为 


P™ (Cy 接收 | xz 发 送 ) = Ti PCy |z) 


换言之 ， 品 声 独 立 作 用 于 输入 字符 串 x 的 每 一 个 符号 x; 上 ，P(Cy|z) 表 示 在 给 定 输入 工 的 
条 件 下 ， 输 出 为 y 的 概率 。 

符号 工 取 自 一 个 大 小 为 9 的 输入 符号 集 &z y 取 自 大 小 为 ” BST TES EL ou BE 
Pl(y|z) 形 成 了 一 个 gqXr 的 随机 和 抢 阵 (信道 矩阵 ) 。 对 一 个 无 记忆 信道 ， 若 该 矩阵 的 每 一 行 
都 是 其 他 行 的 排列 ， 例 如 每 一 行 都 包含 相同 的 概率 集合 p;，…，p,;， 则 称 该 信道 为 对 称 
的 。 同 样 地 ， 对 无 记忆 信道 ， 如 果 该 矩阵 的 每 一 列 也 是 其 他 列 的 排列 ， 则 称 该 信道 为 双重 
对 称 的 。 如 果 m=n=2( HH, Ai. 二 71ou 二 {0，1})， 则 该 无 记忆 信道 为 二 元 的 。 对 一 
个 无 记忆 二 元 对 称 信道 ， 信 道 矩 阵 元 素 P(y|z) 为 PC(010)==P(1|1)=1 一 p,P(1|0)= 
P(011)= 王 bp，DpE(0，1) 为 单个 二 元 符号 翻转 的 概率 ，1 一 2 为 其 正确 传输 的 概率 。 

用 信道 容量 C0 来 表示 信道 的 特性 : 

(a) 对 所 有 的 R<C, R 为 可 靠 传输 的 速率 。 

(b) 对 所 有 的 R>C, R 为 不 可 靠 传 输 的 速率 。 

R 为 可 靠 传输 的 速率 ， 如 果 存 在 一 个 码 元 序列 f,: Hro Hn WEBU An: CN 一 
H n~NR 上 且 误差 概率 

民有 WO A NSN 


C= lim T logMy 
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其 中 My 为 错误 解码 的 概率 趋 于 0 时 码 字 xe Hy 的 最 大 数量 。 
SCT 说 明 ， 对 无 记忆 信道 ， 
C= tee DES i Y) 
其 中 I(X: Y) 为 随机 输入 符号 X 和 对 应 的 输出 符号 Y 的 互信 息 ， 且 最 大 值 取 自 X 的 所 有 
可 能 的 分 布 px。 
现在 ， 对 无 记忆 对 称 信 道 (MSC)， 上 述 的 最 大 化 过 程 只 用 于 输出 符号 
C= (maxh (Y)) JF 5? pi logp; 


RAI — >) p logy, Hy fei KEKE PCy |e) ) EFT HN. IERE, C 的 表达 式 可 以 进 


一 步 化 简 为 
= logM— h (piss p.) 
其 中 h(Y) 在 px 等 概率 分 布 时 达到 ， 即 px (2)=1/q(H py(y)=1/r). Æ MBSC 中 ， 
我 们 得 到 
C= 1— 7p) 
MA tit Se A TG) BBP BY fe EE 。 
接 下 来 ， 尽管 (让) 部 分 对 应 的 信道 不 是 无 记忆 的 ,但 通用 的 定义 和 一 些 相 对 应 的 结论 
仍 可 以 使 用 。 令 n(j, DERA J, j=0, 结尾 的 长 度 为 上 的 字符 串 数 目 ， 于 是 有 
nO,t) = n€l,¢—1), 
n(1,t) =nO,t—1) +n1,¢—1) 


因此 
n(1,z) = nQ1,t—1) +n2C1,t—2) 
将 其 写 为 递归 的 形式 
bs | bees 
may 
n(1,t—1) n(1,t—2) 
且 递 归 和 矩阵 为 
1 
| 
PG 
通 解 为 


nt) = cài Fez} 
Hep), Mla. 为 矩阵 A 的 特征 值 ， 即 特征 等 式 的 根 
det(A — AI) = (1—a)(— A) — 1 = 4? -A—-1=0 
FTE, A =+V5)/2 8 





Logn, = log se) 
该 信道 的 容量 为 
C= lim log # RiP AWS AE KI 


= lim Flogln(1 2) + 2(0,2)] = Tea Oo 


一 
备注 2.2.9 我 们 可 以 修改 最 后 的 问题 。 考虑 MBC， 其 信道 年 阵 为 一 | “| RA 
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约束 为 不 能 出 现 连续 的 0。 这 种 信道 可 以 看 作 是 两 个 连续 信道 的 组 合 (参考 举例 1. 4. 29a), 
从 而 导出 信道 容量 


es min(log( £+), — 7p) ) 


接 下 来 ,我 们 说 明 在 MBSC 中 ，Shannon 的 SCT 的 强 对 称 部 分 (参考 定理 1. 4. 14)。 
我 们 再 次 使 用 Hamming 空间 的 几何 性 证 明 它 。 术 语 “ 强 ”说 明 对 任意 传输 速率 R 二 C， 最 
大 错误 概率 实际 上 任意 接近 于 1。 为 了 简单 起 见 ， 我 们 证 明 MBSC 中 的 情形 。 

i p p | E 
=> 
0<p<1/2, TESEH C, HRC, Sn= NR] 对 所 有 的 码 元 万: H.-H ny 和 解码 

规则 fy: .5v 一 .3 和 2,， 最 大 错误 概率 为 
smex fns fn): 二 max[P( 在 解码 规则 六 |f,(u) 下 发 生 错误 ):u € R]. 2. 26a) 


定理 2.2.10 (SCT/NCT， 强 对 称 部 分 ) MBSC 的 信道 矩 阵 为 


且 满 足 
lim sup nD = 1 (2. 2. 26b) 


证 明 正如 1.4 节 所 示 ， 我 们 可 以 假设 码 元 fa 为 一 一 映射 且 服 从 Fn Sa Uu, A 
Kuc 2, (和 否则， 错误 解码 的 概率 将 非常 大 ) 。 和 式 (2. 2. 26b) 的 假设 相反 ， 

ff) Lco 对 某 些 < 二 1, 对 所 有 足够 大 的 N (2. 2. 27) 
我 们 的 目标 在 于 从 式 (2. 2. 27) 推 出 RC。 正 如 之 前 所 示 , 令 xz= 王 LNR ]，f, (wu(i)) 为 字符 
EuD EHR,» i=l; ss, 2” 对 应 的 码 字 。 BYQ:CH N 为 二 元 字符 串 的 集合 ， HRANY 
a€Q,, Fn BRE f, Uul)): Fula) = faUl) FH fUGdED,. RAD: 为 成 对 分 块 
的 。 WRU; GAFZEN > MEHN \ Us 多 ;部 分 ， 信道 产生 了 错误 。 A 5 一 |2: | 表示 乡 ， 的 
大 小 。 

我 们 的 第 一 步 是 “完善 ”解码 规则 ， 使 其 更 “接近 ”ML 准则 。 换 言 之 ,我 们 将 把 每 
一 个 多 ; MAHREZ EHRs REBFG.=s. LZ 的 边界 更 为 “ 紧 致 ”( 即 更 贴近 Ham- 
ming BR B(f(u(i)，6;)))。 我 们 寻找 两 两 非 交 的 集合 名 ;: C: 的 势 为 # 久 :一 %)， 对 于 一 些 稍 
后 将 详细 给 定 的 半径 为 5; 宇 0 WR, CHE 

BN FU 6) SEC: C BN (fu) bl Si (2. 2. 28) 
我 们 认为 通过 一 系列 “不 相交 的 交换 ”， 多 : 可 以 从 多 ; 中 得 到 ， 并 在 其 中 添加 字符 串 5p， 其 
参考 如 下 的 Hamming 距离 
Slb, f, (ui))) < Ha, fuli))) (2. 2. 29) 
我 们 去 掉 一 个 字符 串 a 并 添加 了 一 个 字符 串 b。 
定义 Bn 为 一 个 新 的 译 码 规则 。 因 为 翻转 概率 p 二 1/2， 所 以 式 (2, 2. 29) 中 的 关系 意味 着 


P( fy BE f,(uG)) | f,uG@)) = PG; |f, (ui))) 
<P(@;|f,(uG))) = Plên BHA fa UC) | f,uG))) 
这 等 价 于 
POEM ên 时 候 的 错误 | PCuGi))) < PCH fy 时 候 的 错误 |f, (uCi))) (2. 2. 30) 
然后 ， 可 以 清楚 看 出 
(Bn) em fn fy) aE (2.2. 31) 
接 下 来 ， 对 于 任意 足够 大 的 N， 假 定 存在 p <p 使 得 
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b+1<[Np'l, wFH-H1I<Si<2" (2. 2. 32) 
然后 ， 注 意 到 @B; RRA s \ C: 的 补 集 ， 根 据 式 (2. 2. 28) AK (2. 2. 31) 可 得 
PCED Np' 个 数字 失真 |f(u(i))) 
<PCEY bi; 十 1 个 数字 失真 |f(u(i))) 
<P(G: | f (uGi))) <e™ (fn Bn) Xe 
上 式 将 导致 矛盾 ， 因 为 根据 大 数 定理 ， 随 着 N>, BER 
P( 至 少 Np’ 个 数字 失真 | 发 送 x) 一 1 
在 所 选择 的 输入 码 字 上 xe Hy 是 均匀 分 布 的 (事实 上 ， 这 个 概率 并 不 依赖 于 具体 的 XC Py). 
所 以 ， 对 于 足够 大 的 N， 我 们 不 可 能 有 p'E (0，p) 使 得 式 (2.2. 32) 成 立 。 这 就 是 说 ,与 
之 相反 的 事实 是 对 的 : 对 于 任何 给 定 的 p'E(0，p)， 我 们 可 以 找到 一 个 任意 大 的 N 使 得 
b > Np', AMA i = 1,52" (2. 2. 33) 
(由 于 我 们 声明 式 (2. 2. 33) 对 于 所 有 pC (0，p) 成 立 ， 所 以 我 们 在 式 (2. 2. 33) 中 的 左 侧 式 
FARA b 或 者 6b; 十 1 都 不 影响 结论 。) 
接 下 来 ， 我 们 再 次 使 用 关于 Hamming 球体 积 的 精确 表达 


N N 
c= DR = 
[A i 


0<j<b, 


N 
= ， ,| ,条 件 是 b > Np' (2. 2. 34) 
h Np | 
举例 2.2.7 给 出 了 一 个 实用 的 界 ( 参 见 式 (2. 2. 25)) 
TEPEE 
vn (R) > N12 (2. 2. 35) 


我 们 现在 继续 完成 定理 2. 2. 10 的 证 明 。 基 于 式 (2. 2. 35)， 对 于 所 有 p' E€ (0，p) 我 们 可 以 
找到 任意 大 的 N 使 得 对 于 所 有 的 1<i<2" ABA s 2N0 9 FF H limen 一 0。 因 为 原始 集 
BD» pry Dur Fe A HAZE 5 可 知 

sites 过 20, 这 意味 着 DN?) 又 2LNe]| <2 
或 者 


np") es +A < L RRR R <1 9p) Fen +H 


当 N->ce 时 上 式 右 侧 趋 近 于 1 一 nC(p)。 那 么 ， 对 给 定 任意 p EO, p), MA RI- 
7(p')。 注 意 到 该 结论 对 所 有 的 p'<p 都 成 立 ， 所 以 RZ1 一 y(p) 二 C。 这 就 完成 了 对 定理 
2. 2. 10 的 证 明 。 口 

我 们 已 经 看 到 , 通过 分 析 Hamming 空间 .NN 内 给 定 集合 多 与 一 系列 球 罗 v(Cy7，y) 之 间 
交集 的 特性 ， 能 够 揭示 许多 关于 多 自身 的 特性 。 在 本 节 剩 下 的 部 分 ， 我 们 将 采用 上 述 方法 
导出 g 进 制 编码 上 一 些 更 好 的 界 : Elias AA Johnson 界 。 这 些 界 是 编码 领域 最 知名 的 普 适 
界 ， 其 精确 性 难 分 伯仲 。 

Elias 界 的 证 明 与 Plotkin 界 的 证 明 相似 参见 定理 2. 1. 15 和 举例 2.1.18. 我 们 在 一 
个 g 进 制 [N，M，dj 码 居中 统计 码 字 (这 个 q 进 制 LN，M，dj 码 狗 在 关于 码 字 y€ 6N 半 
BH s WERB O OP), BEM. RMT (x. By, (y, Mt, APEZA 
Brg Jo MRRBy, (9, NAA K, BHF, BA 


>) Ky = Moy,,(s) (2. 2. 36) 
yE NN 
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因为 每 一 个 码 字 x WAERN, O OM ww (A. 
引 理 2.2.11 HRZ A+ qt wlLN, MI], MATAA s 二 1，…，N， 都 存在 一 个 关 
于 太 - 码 字 YER Nn HRB Ys 5)， 其 中 包含 KSH NZB O DAF K, 遵循 


K, > Moy,,(s)/q™ (2.2287) 
证 明 将 式 (2. 2. SOPHIA q" s zy 习 天 给 出 了 球 色 vv(y， 5) 中 的 码 字 个 数 的 平均 
值 。 但 是 注意 到 一 定 有 一 个 球 至 少 包含 和 该 平均 值 一 样 多 的 码 字 。 o 


一 个 满足 式 (2. 2. 37) 特 性 的 球 罗 w.。(y?，s) 被 称 为 临界 的 (对 于 码 光 ) 。 
定理 2.2.12 (Elias 界 ) 令 0 二 (g 一 1)/g， 对 于 所 有 满足 s<ON Ff s’—2O0Ns+ONd>0 的 整 
数 s 宇 1， 一 个 N Kq 进 制 编码 的 最 大 容量 Mi (N，d) 和 码 距 离 d 满足 


M (N,d) < $ —20Ns +0Nd vn,,(s) 


证 明 固定 一 个 临界 球 多 \.,(y?，s) 并 考虑 通过 从 码 字 Y : Kay: xE 和 ) 中 减 去 码 y 得 
GZ. MAR 同样 是 一 个 [LN，M， dj 码 。 所 以 ， 我们 可 以 假定 y==0 MBAy,, (0, sz 
一 个 临界 球 。 

继续 取 .97 =LVBn,,0, DSEK: Was), HERBBMGBL, 的 参数 是 [LN，K， 
e]， 其 中 e>d ## 8 K(=K,)>Moy,,(s)/q’. AIX Plotkin 界 的 证 明 相 似 ， 考 虑 .2 中 的 
码 字 间距 总 和 为 


(2. 2. 38) 


= Dp deer) 


re DEQ, 
我 们 同样 有 S! 宇 K(K 一 1)e。 另 一 方面 ， 如 果 三 是 字母 EJ 二 {0，…，g 一 1) 在 所 有 码 字 
LEK 第 i 位 置 上 的 总 数 ， 那 么 
Si >) ky Ky) 
ISi<N 0<j<q-l 


注意 到 总 和 >， 局 二 K 。 同 时 ， 由 于 w(x) 达 s， 在 每 一 个 码 字 EZ, 中 0 的 总 数 都 满 


0<j<q-l 


足 宇 N 一 s。0 在 所 有 码 字 中 的 总 数 为 J) ko >K(N—s). id 


1<i<N 
S= NK*— >) e+ D k) 
1<i<N 1<j<r1 
使 用 Cauchy-Schwarz jis 
D BSAC Dd wy = Ke” 
Le ra 1<j<q-1 Goal 


然后 可 得 


1 


1 
S< NK? — 2 (ki bo (K — ko)’ ) 


= NK? = 7 dy K= D + K*—2Kko +2] 


1,Z2N 


= NK? = >, (akh +K? —2Kko) 


1<1<N 


= NK? ——\_K* 一 ki, + k; 
g= gej ukht aa KD : 
= k2 irak 

E ll eRka 
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HPL = >) &o 。 再 次 使 用 Cauchy-Schwarz 不 等 式 : 


1<i<N 


1 2 1 
kh >= ko) == í 
2, N H Nt 
可 得 
eg: eet, Pee aL ene as 4 J 
gl g=] NU g= 
Aighe! = 2 = rs 
Rp 2)NK* — XL? + 2KL ) 
FES PNM RH eK AE L=NK/q, FABRE SPERM LSK(N—S), 
所 以 ， wAEKCN—s)>NK/q, Bl ;NC(gq 一 1)/g， 我 们 可 以 估计 
1 a 2) Qiars i ae 2 ae 
s< (4 2)NK* — 2K? (N =F +2K*(N s)) 


= mr A i 1) Sii 


这 就 得 到 了 不 等 式 KGK 一 1)e< iTK's(2(q 一 1D) 一 个 )， 进 而 对 天 求解 可 得 


ONe 
KEI — 20Ns 十 ONe 
如 果 s<NO, $ 一 20Ns 十 ONe 之 0 ERR. RR, MLO RA—ACN, M, dB, 


其 中 K>Mv(s)/q’ #HeSd. Ra, RNBAT 


Mon, (s) Be ONd 
qv ~~ s? — 26Ns + 6Nd 
这 就 导出 了 ;Elias 界 (2. 2. 38). oO 


用 于 Elias 界 证 明 的 思路 (更 早 的 用 在 Plotkin 界 中 ) 对 推导 WSN, d, OMRARK 
帮助 。 这 里 W2; (CN，qd，0) 表 示 一 个 N 长 二 元 ( 非 线 性 ) 码 WE 6@w,; 的 最 大 容量 ， 其 中 码 
距离 dOd, BFES w(x)=0, Ck. HE, 给 出 三 个 明显 的 性 质 


G) Wi (N, 2k, »=|7] 


Gi) Wi (N, 2k, D=W} (N, 2k, N—2) 
Gii W? (N, 2k—1, D=W; (N, 2k, 0), £4/2<k<L 
(建议 读者 自行 证 明 作为 练习 。) 


举例 2.2. 13 证 明 对 于 所 有 的 正 整数 N>], kA 和 dN, 有 


Wy (N,2k,0) <la EN a (2. 2. 39) 


=EN +kN 
BA W—SON, M, 22GB RES w=, LEK, MERE S 各 为 1 在 所 有 码 
字 中 第 ;个 位 置 的 总 数 。 考 虑 点 积 和 D= J) 1x. x), RNB 


FE 多 
oe wie A x = Twa) o Ci)) 


< ice- 2k) 一 《一 


所 以 
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D< (¢—k)M(M— 1) 
男 一 方面 ,i 位 置 对 DD 贡献 等 于 ka (ka 一 1)， 即 


D= Y kalki p= ih )= J)k —M 


1<i<N 1<i<N 


同样 ， 最 后 的 和 项 在 ka =¢M/N 处 取得 最 小 ， 


2 
EM —(M <D<(¢—k)M(M-1) 


这 就 得 出 了 式 (2. 2.39). 口 
接 下 来 给 出 另 一 个 有 用 的 界 。 


举例 2. 2. 14 证 明 对 于 所 有 正 整 数 NL, bf 2k 二 bl 二 4k， 下 面 式 子 成 立 


W; (N,2k,0) <| tw; CN 一 1,2k,Z 一 1) | (2. 2. 40) 


解答 ”同样 取 码 必 使 得 所 有 xC LRA w(x) =0. FRE 2. =1 的 截断 码 ( 人 参考 举例 
2.1.8¢(v)): LN, M, 2k) T—-MSBKACN-1, BRS2k 上 且 重量 为 常数 (& 一 1) 的 
码 。 所 以 ， 这 部 分 码 字 的 数量 过 W; (N 一 1，2k， (一 1)。 因 此 ， 在 码 字 必 中 第 一 数位 上 字 
符 1 的 总 数 不 超 过 W2 (N 一 1，2k， 4l 一 1)。 重 复 这 个 论断 ,我 们 得 到 了 字符 1 在 所 有 位 置 
上 的 总 数 志 NW2 (N—1, 2k, Yl 一 1)。 但 是 这 个 数字 事实 上 等 于 《4M， 也 就 是 说 lM<NW; 
(N 一 1，2k， 6 一 1)。 然 后 就 可 以 得 到 式 (2. 2.40) PHF. 口 


推论 2. 2. 15 对 于 所 有 正 整 数 N 之 1， <Ñ ho 2 二 b 二 4k 一 2， 有 


W: (N,2k—1,6)= Wz (N, 2k, 0) 
<|F|F=31 « [5E |... J| (2. 2. 41) 
2.2 节 剩 下 的 部 分 重点 放 在 Johnson 界 。 这 个 界 旨 在 改进 二 元 Hamming 界 ( 参 
考 式 (2. 1. 8b)，g 一 2) 
M; (N,2E+1) <2%/uy(E) 或 wn(E)M; (N,2E+1) <2" (2.2.42) 
也 就 是 说 ，Johnson 界 表明 
M: (CN,2E 1)’ 2N/v" (Œ) R a (E)M? (N,2E+1) <2 (2.2.43) 
其 中 


1 N 
vy CE) mB HE | 


(2. 2. 44) 


2E+1 
-W; (N,2E+1,2E+ D| | 


N 
回忆 一 下 , w(E) = >) 本 代表 了 半径 为 E 的 二 元 Hamming 球 的 体积 。 我 们 将 从 下 面 


0<s<E 


引 理 开始 导出 式 (2. 2. 43) 中 的 界 。 


个 二 元 码 字 Zs 


2é+1 
引 理 2.2.16 wR x, y 25%, x, y)=2+1, PA, aal | 


使 得 SCx，z) 王 /十 1 并 且 Sy, —D=~e, 
证 明 留 作 练习 。 口 
考虑 一 个 集合 了 (二 Zw.gr1)， 其 中 包含 所 有 与 居中 码 字 距离 为 EE 十 1 的 二 元 N 长 
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字符 : 
= {zx E Hae) =E+1, HEEL 
fo Mz,y)< E+1, 对 于 所 有 的 yE 2} (2. 2. 45) 
那么 我 们 可 以 得 到 
Moy(E)+# $< 2% (2. 2. 46) 


因为 ze SPRAEMFRREEGES yE 多 周围 半径 为 巨 的 球 中 。 当 我 们 解决 下 一 个 举例 
的 时 候 ， 式 (2. 2. 43) 中 的 界 可 被 推导 出 。 
举例 2. 2. 17 证 明 井 .多 是 不 小 于 式 (2. 2. 44) 右 边 的 第 二 项 


| N |-we en 2 五 十 1 了 Hi | (2. 2. 47) 
[N/E+1]||e+1 vain : E R 
解答 “我 们 希望 寻找 # 罗 的 下 界 。 考 虑 如 下 定义 的 与 N - 码 “ 匹 配 ” 的 字符 集合 W(= 
W n+) 
Wr € Bz € Jy, 0(4,z) = E+1} 
={(x,2):%€ RE Fon: 0x2) = E+ 1, 
y,z) S>E+1, 对 所 有 的 了 E 2} (2. 2. 48) 
给 定 一 个 xE 敢 ， 哟 切片 WW: 定义 为 
W =z € HN:xz) CW} 
= {z:0(x.z) =E+1,0(y,z2) >E+1, 对 于 所 有 的 y SL) (2.2.49) 
观察 到 如 果 6(x，y) 二 EE 十 1， 那 么 对 于 所 有 的 YER \{(x\/MA Oy, DSE, RWA 
O(x, y<2E+1, Ait 
Y= =(2:0(4,2) =E+1,0y.2) AE, 对 于 所 有 的 yyE BM} (2.2.50) 
为 了 计算 #W*， 我 们 需 关 注 距 离 码 字 x 为 E 十 1 的 字符 集合 ， 从 该 集合 的 字符 总 数 
|。 | 下 天 去 该 集合 中 下 高 另 一 码 字 yE 史 为 下 的 字符 数 可 得 # 六 =。 但 是 如 果 d(x, z) 
=E+1 而 6(y，z) 二 EE， 那么 有 56(x，y) 二 2E 十 1。 同 样 ， 我 们 注意 到 不 可 能 有 两 个 不 同 码 
字 到 同一 个 N- 字 符 z 的 距离 都 为 已 。 因 此 ， 基 于 之 前 的 解释 ， 可 得 
N 2E+1 
seul E 
进一步 ， 如 果 我 们 以 码 字 yE 为 参照 从 原 码 本 中 删除 每 一 个 满足 SCx，y) = 下 十 1 的 
x， 码 ， 这 将 生成 一 个 N 长 码 ， 其 码 字 为 x、 码 字 重 量 为 w(z) 三 2E 十 1。 所 以 ， 至 多 有 
W: (N, 2E+1, 2E+)D POF yOR, WE (x, y=2E+1, MAG, 


# w= | |x # ly € gi = 2E-+1) 


N 2E+1 
#W> | |W: «w.28-+1,26+ 0] | (2. 2.51) 
E+1 
并 且 
# W>MX X(2. 2.51) WA (2.2.52) 
现在 固定 ve SHAS v -切片 
W= ERON CW) = (VE BM ysv) = E+1} (2. 2. 53) 


如 果 y, c<eW, PBA dy, u)=8lz, u)=E+1], MY 
wly—u) = wz —u) = E+1 
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并 且 
2E+1<d(y,.z2)= ly—v,z—v) 
= wly— v) + wle— 9) —2w((y— v) A (2 —v)) 
=E +-2—20wy— N(R 
这 意味 着 


wy v) N (z=vu))=0 fF lz) = 2E+2 
所 以 ?一 "和 zx 一" 没有 公共 的 数位 1。 因 此 ， 至 多 存在 [二 | 个 形 如 ?一 "的 字符 ， 其 中 


VEW", WW: 中 至 多 有 [站 字符 。 因 此 


+y <| |# A (2. 2. 54) 


综合 式 (2. 2. 51) 式 (2. 2. 52) 和 式 (2. 2. 54) 得 到 不 等 式 (2. 2.47). 口 
推论 2.2.18 ”借鉴 推论 2. 2.15， 下 面 的 界 成 立 








M" (N,2E+1) < 2% oN E — 





NJ/N= am eas 
merla Ge LD) 3.2.35) 


Gil F 2.2.19 定义 N=13, E=2, Bd=5, RERO. 2. 41) KH W 3, 5, D| Ë 


(45 23. 而 基于 式 (2. 2.43) 中 的 Johnson 界 可 得 
213 
1 和 十 13 十 78 十 《286 一 10 X 23)/4 


相 比 起 Hamming 界 给 出 的 M* (13, 5)<89, Johnson 界 要 精确 很 多 。 事 实 上 ， 众 所 周知 
M* (13.5) 王 64。 人 参见 3.4 节 。 


2.3 线性 码 : 基本 构造 


这 部 分 ， 我 们 更 深入 地 探讨 线性 码 。 首 先 我 们 考虑 符号 取 0 和 1 的 二 元 制 码 。 相 应 
Hh, Py 将 代表 长 度 为 N 的 二 元 Hamming 空间 ; Hy 中 的 码 字 x =r aen 将 被 称 为 
( 行 ) 向 量 。 所 有 在 二 元 数位 上 的 操作 都 是 二 进 制 运算 ( 即 mod 2)。 在 不 致 困惑 情况 下 ,我 
们 忽略 下 标 N 和 上 标 (N)。 让 我 们 重复 一 下 线性 码 的 定义 (参考 定义 2. 1. 5)。 
定义 2. 3. 1 如 果 一 个 字符 zx; 十 zi 的 二 元 码 .YE.52w 联合 一 对 向 量 x 二 x1…zw 和 Xx =z) 
Zn， 码 字 必 包 含 x 十 x' 这 个 和 ， 则 该 二 元 码 被 称 为 线性 的 。 换 名 话说， 一 个 线性 码 是 域 
也 二 {0，1} 上 .Mn 的 线性 子 空间 。 因 此 ， 一 个 线性 码 总 含有 一 个 零 行 向 量 0 二 0…0。 线 性 
码 儿 的 一 个 基 是 多 中 具有 最 多 独立 线性 独立 码 字 的 集合 ;一 个 线性 码 可 通过 它 的 基 生 成 ， 
也 就 是 说 ， 每 一 个 向 量 xE 履 可 以 被 (唯一 地 ) 表 示 为 (一 些 ) 基 向 量 的 线性 加 和 。 对 于 一 个 
给 定 的 线性 码 光 ， 其 所 有 可 能 的 基 包含 相同 数量 的 向 量 ; 基 向 量 的 数目 被 称 作 用 的 秩 或 维 
数 。 长 度 为 N 而 秩 为 & 的 线性 码 被 称 作 LN，kj 码 ， 当 考虑 距离 为 a 时 可 以 进一步 称 作 
[N, 上 有，dj 码 。 

现实 中 实用 的 码 都 是 线性 的 ， 因 为 它们 简单 易 用 。 比 方 说 ， 为 了 识别 一 个 线性 码 ， 我 们 
只 需要 确定 它 的 基 就 可 以 了 ， 这 就 会 有 很 多 好 处 ， 我 们 可 以 在 后 面 的 内 容 中 看 到 这 些 好 处 。 
引 理 2. 3.2 任意 一 个 秩 为 的 线性 码 包 含 2* 个 向 量 ， 即 大 小 为 M=. 
证 明 码 的 基 包 含 & 个 线性 独立 向 量 。 这 个 码 由 它 的 基 生 成 ， 因 此 它 由 这 些 基 的 线性 组 合 


M' (13,5) <| =n 
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(加 和 ) 构 成 。 更 为 精确 地 说 一 共有 2* 个 可 能 的 加 和 ({(1，…，&} 子 集 的 数目 显示 了 被 加 数 
的 量 )， 并 且 它 们 能 给 出 不 同 的 向 量 。 口 

因此 ， 一 个 秩 为 的 二 元 线性 码 必 可 以 编码 长 度 为 & 的 所 有 字符 串 。[LN，kj 码 的 信 
息 速率 是 &/N。 所 以 ， 表明 RN 个 线性 独立 的 码 字 xzE.5v 可 以 确定 一 个 (唯一 的 ) 秩 为 
RWREBL CH. MAS, 一 个 秩 为 & 的 线性 二 元 码 可 以 由 一 个 0，1 元 素 构 成 的 &X 
N 矩阵 表示 


gu 81N 

& 82Nn 
ns 21 j 

Z T EN 


该 矩阵 中 的 列 向 量 是 线性 独立 的 。 

也 就 是 说 ， 我 们 采用 该 矩阵 中 的 行 向 量 g(i) 二 ga…gw，1 志 1k 作为 一 个 线性 码 的 基 
问 量 。 
定义 2.3.3 和 矩阵 G 被 称 为 线性 码 的 生成 矩阵 ， 而 且 生 成 矩阵 不 是 唯一 的 。 

等 价 地 说 ， 一 个 线性 LN， kj] 码 红 可 以 被 描述 成 某 个 (N 一 k) XN 二 元 矩阵 HH 的 核 ， 该 
和 矩阵 的 元 素 为 0 和 1: B=kerH, Hp 


hu hyp hin 
H= hay fis hon 
hin-i hena "Anew 
养 且 
kerH = {x = aay xo = 0%) (243.4) 


很 明显 矩阵 WAST RG), IS<j<N—k, GRIER, WAM ARN 
(xe hG) =0, MAAN xe PHL SjICQN-k 
这 里 ， Wie x yE HN 


{xe y) = (y. x) 一 D EH y = reins y = y yN OAE 
参考 举例 2. 1. 8(ix)。 

式 (2. 3. 2) 中 的 内 积 拥 有 RY 中 欧式 标量 积 的 全 部 特性 。 但 是 ， 它 不 是 正定 的 (所 以 它 
没有 定义 一 个 范 数 ) 。 也 就 是 ， 存 在 非 零 向 量 xren 满足 (x，x) 二 0。 幸 运 的 是 ， 我 们 并 
不 需要 正定 性 。 

然而 ， 这 里 的 点 积 满足 秩 - 零 特性 : 如果. 多 是 .和 Ny 上 秩 为 k 的 线性 子 空间 ， 那 么 它 的 
正 交 补 .98+ ( 即 于 任意 xe ZHE 2) =0 的 所 有 向 量 ER 的 集合 ) 是 一 个 秩 为 N 一 k 
的 线性 子 空间 。 所 以 ， 互 的 CN 一 驴 行 可 视 为 8 中 的 基 ， 多 上 + 上 是 多 的 正 交 补 。 

i ERED =ker 和 或 者 (x，h(j)) 寺 0( 参 见 式 (2. 3. 1)) 的 矩阵 吾 ( 或 者 有 时 它 的 转 置 
了 7) 被 称 作 多 的 奇偶 校 验 ( 或 者 简单 叫 作 校 验 ) 矩 阵 。 在 很 多 情况 下 ， 通 过 校 验 矩 阵 来 描述 
一 个 码 比 生成 矩阵 更 方便 。 

校 验 矩 阵 也 不 是 唯一 的 ， 因 为 在 8 一 中 的 基 可 以 有 多 种 选择 。 另 外 ， 对 于 一 组 长 度 为 N 
的 不 同 的 码 ， 我 们 更 习惯 辨别 行 数 大 于 N 一 & 的 校 验 矩 阵 ( 但 是 一 些 行将 是 线性 相关 的 ); 
第 3 章 有 这 样 的 例子 。 然 而 ， 我 们 将 暂时 把 豆 视 为 一 个 行 线性 独立 的 CN 一 妃 XN EE. 
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举例 2.3.4 KARERA p=k/NWRRAALN, k, d]. GAH PFHNALMHER 
46 fo PRR, ARPS PARTAA] 21.8 的 结构 ， 给 出 以 下 问题 

(a) .多 的 奇偶 校 验 扩展 是 一 个 通过 相 加 得 到 的 长 度 为 N 十 1 的 二 元 码 避 ”， 即 给 每 个 
码 字 xE. 儿 加 上 符号 ay = Dizi, RA D x 为 0。 HRP” 是 一 个 线性 码 ， 得 到 它 


1<i<N 1I<i<N+1 
HERDER, LAK 的 信息 率 、 生 成 矩阵 及 奇偶 校 验 答 阵 是 怎样 联系 的 ? 

(b) 外 的 截断 色 被 定义 为 截断 每 个 YE. 包 码 字 最 后 符号 后 得 到 的 N 一 1 长 线性 编码 。 
RK ty GIBB d>2, CAR 是 线性 的 并 给 出 它 的 秩 、 生 成 矩阵 和 奇偶 校 验 答 阵 。 证 明 
党 的 最 小 距离 至 少 为 d 一 1。 

(c) RH m 重复 是 通过 将 码 xE 屠 重复 m 次 得 到 的 Nm EBV (mm), ERAK (ME 
一 个 线性 码 ， 给 出 它 的 秩 和 最 小 距离 ， 讨 论 避 " (mm) 的 信息 举 和 生成 矩阵 以 及 奇偶 校 验 算 
阵 是 怎样 与 p，G 和 HH RAH? 
解答 (a) 生成 矩阵 和 校 验 矩阵 是 


1 





G ste TO | 1 
K 的 秩 等 于 多 的 秩 ， 儿 = 上。 如 果 多 的 最 小 距离 是 偶数 ， 则 不 变 ; 如 果 为 奇 ， 则 增加 1. 
信息 速率 为 =(N—-1)p/N. 
(b) 生成 矩阵 
gu "= &iNa 


Bll °“ BiN- 
QHABRRBH 吾 ， 经 过 适当 地 列 变换 之 后 ， 可 以 写成 : 


| 

| 

H | 

H= | 
| 

| 

| 





K 的 奇偶 校 验 矩 阵 是 通过 H 给 定 的 。 它 的 秩 不 变 ; 距离 可 能 最 大 减 1。 信 息 率 为 o = 
Np/(N-1). 
Co) 生成 矩阵 和 奇偶 校 验 和 矩阵 分 别 是 
G" (m) = (GG) (m 次 ) 
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和 
A 0°46 0 
ee 0 
H"(m) = | I I 0 
T 0 0 el 


其 中 , I 是 一 个 NXN 的 单位 矩阵 ，0 表示 的 是 一 个 零 抢 阵 ( 因 此 维度 为 CN 一 &) XN 和 
N XN)。 第 一 列 中 的 单位 阵 的 数目 等 于 mm 一 1。( 这 不 是 H*(m) 的 唯一 形式 。) H" (Cm) 是 
(Nm—k) X Nm 维 的 。 

这 里 秩 不 变 ， 有 (xz) 的 最 小 距离 为 md， 信息 速率 为 p/m, O 
举例 2.3.5 一 个 线性 二 进 制 码 LN， KMRL ELARSL, se y=yeryns W 
足以 下 点 积 关系 


(二 0 MFR-ABRTLW x = aay 


类 比例 子 2. 1. 8(ix)。 证 明 当 且 仅 当 且 是 对 偶 码 的 生成 矩阵 时 ，(N 一 k)XN HRM A 
儿 码 的 奇偶 校 验 和 矩阵 。 因 此 ， 验 证 G 和 百 和 矩阵 分 别 是 一 个 线性 码 的 生成 矩阵 和 奇偶 校 验 
see, SAR: 

(i) RG 的 行 是 线性 无 关 的 。 

Gi) 天 阵 百 的 列 是 线性 无 关 的 。 

(iii) 424 G 的 行 数 加 上 矩阵 再 的 列 数 等 于 矩阵 G HF RFE 的 行 数 。 

(iv), GH™=0, 
RA SM AWATAG), j=l, =, N-k BAe + hG))=0, EM. 而且， 如 果 一 
向 量 y WAC e y)=0, EL, MAyRyVMREAS., Alt, HEEE AE 
阵 。 另 一 方面 , QO BAY EE A A: AR EA ZB A PE 

EE, Xb FAEM — XR EG) AE Ne Ae FA AP PR RE ee MEG, H, (i) GD (iv) 可 通过 定 
义 证 得 ，(Gii 让 通过 秩 的 公式 得 到 

N = dim( 行 一 秩 G) 十 dim( 行 一 秩 H) 

遵从 于 (iv) 和 G、H 的 极 大 性 。 

另 一 方面 ， 任 何 遵循 (i) 一 (iv) 的 和 矩阵 的 G，H 对 具有 最 大 化 的 性 质 (根据 Gi) 一 (说 )) 和 
正 交 性 (iv) 。 因 此 ， 它 们 是 多 王 行 一 G 的 秩 的 生成 矩阵 和 奇偶 校 验 矩阵 。 口 
举例 2.3.6 一 个 线性 二 元 [LN，kj] 码 的 码 字 个 数 是 多 少 ? 其 中 不 同 的 基数 量 是 多 少 ? 计算 
k=4 的 基 的 数目 。 列 出 所 有 = 二 2 和 上 二 3 的 基 。 

试 证 明 一 个 线性 二 元 码 中 由 所 有 偶数 重量 的 码 字 组 成 的 一 个 子 集 是 可 构成 线性 码 。 证 
明 对 于 偶数 g， 如 果 线 性 LN,，R，d] 码 存在 的 话 ， 那 么 其 码 字 重量 可 以 是 偶数 。 
解答 二 元 线性 EN， 条码 中 的 码 字 数量 为 %， 不 同 的 基 的 数目 为 十 上 Cot 一 2) 。 事 实 
止 ， 如 果 第 一 个 基底 向 量 被 选择 了 ， 则 在 下 一 步 它 所 有 的 线性 组 合 应 该 被 排除 。 对 于 二 4 
是 840, WF R=3 Æ 28. 

最 终 ， 对 于 偶数 4， 我 们 可 以 截 短 原始 码 字 然后 使 用 奇偶 校 验 扩展 获得 一 个 线性 [NN， 
k, di. 口 
例子 2.3.7 二 元 HammingL7，4] 码 可 由 一 个 3X7 的 奇偶 校 验 和 矩阵 确定 。 该 校 验 和 矩阵 的 
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列 是 长 度 为 3 的 非 零 码 字 。 将 这 些 码 字 按 照 词典 编纂 顺序 排列 我 们 可 以 得 到 








Woor r 
Hist e a A aa a eT I 
Ws 
相应 的 生成 矩阵 为 
Cay yh eg I 
Ai" = o (2. 3. 3) 
ll es ld alg 
Bp. ye ee a 
ERE PH—TRELN, AREAL EK RA MEBDORRERA EH 
Ha = (ha) (2. 3. 4a) 
Hamming[7，4] 码 的 校 验 矩阵 如 下 
OO 
mofo es Be ee 
eos Got a | 
其 生成 矩阵 的 范式 如 下 
Gan = (G'I) (2. 3. 4b) 
也 就 是 
1 dO ele On © 
en ae ee 0 
Pedivtly Outs 6 
iv) Aee® aTM 


ÉRE, Gr Al Gu 确定 不 同 的 码 字 ， 然 而 这 些 码 字 是 等 价 的 。 
定义 2.3.8 如 果 两 种 码 字 只 是 在 数位 排列 上 有 区 别 ， 那 么 称 这些 码 字 是 等 价 的 。 对 于 线 
性 码 ， 等 价 是 指 它们 的 生成 矩阵 可 以 通过 列 变换 或 者 包含 加 或 者 标量 乘 等 运算 行 变换 相互 
转化 。 显 然 ， 等 价 的 码 拥有 相同 的 参数 (长 度 ， 秩 ， 距 离 )。 

在 接 下 来 的 部 分 中 ， 除 非特 别 说 明 ， 我 们 不 区 分 彼此 等 价 的 线性 码 。 
备注 2.3.9 将 G 以 范式 表示 的 好 处 是 对 信 源 序列 & CP, 的 编码 可 以 表示 为 一 个 NN HE 
(tu? Ge"; 根据 式 (2. 3. 4b), wu G 的 最 后 & 个 数位 (被 称 为 信息 数位 ) 形 式 上 依旧 是 字 
ftu ， 而 前 面 的 N 一 & 个 被 用 于 奇偶 校 验 (被 称 为 奇偶 校 验 数 位 )。 形 象 地 来 说 ， 奇 偶 校 
验 数位 携带 着 译 码 器 可 以 用 来 检测 错误 的 元 余 信息 。 


就 像 通过 解剖 生物 来 研究 生命 一 样 ， 
你 发 现 它 的 时 候 也 就 是 你 失去 它 的 时 候 。 
Alexander Pope(1668 一 1744)， 英 国 诗 人 


定义 2.3. 10 一 个 二 元 码 x5r er 的 码 字 重量 w(x) 是 其 中 的 非 零 数字 的 个 数 
wlx) = # {il <i< N,z; 40} (2. 3. 5) 
定理 2. 3. 11 
O 线性 二 元 码 的 距离 等 于 其 非 零 码 字 的 最 小 码 字 重量 。 
Gi) 线性 二 元 码 的 距离 等 于 校 验 矩阵 中 线性 相关 的 列 的 数量 。 
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证 明 (i) AAR EAE, MPR MS x, Ve RMA xt+yeCR. HF Hamming 
距离 的 平移 不 变性 ( 见 引 理 2. 1.1)， 对 于 任意 一 对 码 字 ，6(x,，y) 二 86(0,， x 十 y) 二 w(x 十 y)。 
HEZ 的 最 小 距离 等 于 码 字 0 和 其 余 的 码 字 之 间 的 最 小 距离 ， 即 多 中 非 零 码 字 的 最 小 重量 。 
Gi) 记 线 性 码 .多 的 奇偶 校 验 矩 阵 为 豆 ， 其 最 小 距离 为 4。 那么 ， 存 在 一 个 码 字 xE .和 
恰好 有 4 个 非 零 数位 。 因 为 YI =0， 我 们 可 以 得 出 矩阵 H pA d 列 是 线性 相关 的 (它们 
对 应 着 x 中 的 非 零 数 位 ) 。 另 一 方面 ， 如 果 HH 中 存在 (d 一 1) 列 线性 独立 的 列 向 量 ， 那 么 它 
们 的 和 是 零 。 但是， 这 也 意味 着 存在 一 个 码 字 y WER wly)=d—-1, PW yH "二 0。 然 而 
y 不 可 能 一 定 属于 光 ， 因 为 min[w(x): xe BW, x40]=d, 口 
定理 2.3.12 Hamming[7，4j] 码 的 最 小 距离 为 3， 即 能 够 检测 2 个 错 并 纠正 1 个 错 。 而 且 
它 是 一 个 能 纠正 单个 错误 的 完美 码 字 。 
证 明 对 于 任意 一 对 列 向 量 ,， 奇偶 校 验 矩阵 H“* 包 会 它们 的 和 ， 进 而 可 以 得 到 线性 相关 的 
三 个 列 向 量 ( 比 如 这 里 的 第 1，6 和 7 列 )。 其 中 ,任意 两 列 线性 无 关 ， 因 为 它们 是 不 同 的 
(x+y=0 BRA x=y). Wb, v (1) 的 体积 等 于 1 十 7 三 B83 并 且 码 长 是 2，2*X2=2， 
因此 该 码 是 完美 的 。 
Hamming[7，4j] 码 的 结构 可 以 轻松 扩展 到 任意 长 度 为 N=2'—-1 的 码 设计 ; 比方 说 ， 
考虑 一 个 (2' 一 1) XL 的 和 矩阵 H™”， 该 矩阵 的 列表 示 所 有 的 可 能 存在 的 长 度 为 1 的 非 零 二 元 
向 量 

















Ww Ce 1 
i. 1 1 | 1 
ES ol Cine O chime Ko 1 (2. 3. 6) 
aa: ratte 1 
0 0 eee ji 0 eee i 


矩阵 HKT EREER, Kik "可 以 被 视 为 一 个 长 度 为 N=2' 一 1， 秩 为 N 一 /二 2' 一 
1 一 的 线性 码 的 校 验 和 矩 了 泗 。H"™ 的 任何 两 列 是 线性 无 关 的 ， 但 是 存在 线性 相关 的 三 个 列 向 
E, 例如 ，x，y 和 x 十 y。 因 此 ， 校 验 矩 阵 为 HY 的 码 久 ”的 最 小 距离 为 3， 即 它 可 以 检 
测 2 个 错 ， 纠正 1 个 错 。 

这 种 码 也 被 叫 作 再 ammingL2: 一 1，2 一 1 一 个 码 。 它 是 完美 的 单 错误 纠 错 码 : 1 - 球 的 
列 vp, AEF 1+2!-1=2!, MKANX I =H22—- 1 XH 27-1 = 2", 随 着 1->co， 信 息 速 


率 2 元 全 1 -1。 这 证 明了 如 下 定理 。 


定理 2.3. 13 ”上述 的 结构 定义 了 一 系列 [2 一 1，2: 一 1 一 上/，3] 线 性 二 元 码 儿 加 ，! 一 1， 
2，…， 这 些 码 是 完美 的 单一 错误 纠 错 码 。 
例子 2.3. 14 假设 任意 数位 的 错误 概率 bz 人 1， 并 且 与 其 他 的 数位 错误 无 关 。 那 么 发 送 一 
个 没有 编码 的 具有 (4N)- 数 位 消息 ， 出 现 错误 的 概率 为 

1—(1— pN ~ 4Np 
但 是 ， 如 果 我 们 使 用 L7，4jJ 码 ， 我 们 需要 传输 7N 个 数字 。 在 传输 中 发 生 一 次 错误 至 少 需 
要 两 个 数位 出 现 错误 ， 概 率 





7 N 
œx 1— i- ae = 21Np’? < 4Np 


我 们 可 以 看 出 在 Hamming 码 中 额外 使 用 3 个 校 验 数 位 置 是 有 效果 的 。 
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线性 码 的 标准 译 码 过 程 是 基于 陪 集 和 伴随 式 的 概念 。 回 想 ML 准则 对 向 量 y= y + yw 
进行 译 码 的 结果 是 最 接近 y FERK., 
定义 2.3.15 REN ROTA, wHw rw BH 中 的 一 个 码 字 。 一 个 由 w 决定 
的 多 的 陪 集 是 形 如 za 十 x 的 码 字 集合 ， 这 里 xE. 光 。 我 们 用 wt PKR. 
在 线性 代数 中 一 个 简单 (而 有 用 的 ) 练 习 如 下 : 
例子 2.3. 16 BR -TREB, w, 是 长 度 为 N WBS. MA: 
(1) MR w 在 陪 集 v 十 居中 ， 那 么 v tewRwt+ V2; 换 句 话说 ， 陪 集中 每 一 个 码 
字 都 可 以 决定 这 个 陪 集 。 
(2) EN 
(3) 4AM4 wtve Ry, w 和 w 在 同样 的 陪 集中 。 
(4) 每 个 长 度 为 N 的 字符 属于 并 且 只 属于 一 个 陪 集 。 也 就 是 说 ， 陪 集 划 分 了 整个 
Hamming 空间 .和 2、。 
(5) 所 有 的 陪 集 包 含 相同 数量 的 字符 ， 并 且 等 于 # 有 多。 如 果 儿 的 穆 是 &， 那 么 存在 
2 个 不 同 的 陪 集 ， 每 个 包含 2 MES. BREE RESTORE. 
(6)w 十 v 所 决定 的 陪 集 与 形 为 x 十 y 的 元 素 组 成 的 集合 相 一 致 ， 这 里 YE 也 十 光 ，y 一 
+0, 
现在 得 到 线性 码 的 解码 规则 : FEREBBE, AR ITA A BS. 4 BEM 
到 一 个 码 字 y 之后， 可 以 找 出 它 的 陪 集 ?十 允 并 且 找 到 一 个 码 字 w Ey 十 信使 它 的 重量 最 
小 。 这 个 码 字 被 称 为 陪 集 ?十 多 的 陪 集 首 。 陪 集 首 可 能 不 是 唯一 的 : 这 样 的 话 你 需要 在 陪 
集 首 列表 里 面 做 出 选择 或 者 拒绝 译 码 并 且 请 求 重 传 。 假 设 你 已 选择 了 一 个 陪 集 首 w， 那 么 
对 于 码 字 y 的 解 调 结果 是 
x, =ytw (9s ae) 
举例 2. 3. 17 试 证 明码 字 x; 总 能 最 小 化 y》 和 . 光 中 码 字 的 距离 。 
解答 ”因为 y 和 w 属于 同一 个 陪 集 ， 于 是 有 yt we RRB 2.3.16(3)). PPA 
字 可 视 为 y 十 v 的 和 ， 其 中 vv 取 自 陪 集 y 十 允 。 因 此 ， 对 于 任意 xE 
Cy) = wily Fx) = min n wlw) = wlw) = d(ysx: ) D 


用 奇偶 校 验 矩阵 来 描述 陪 集 十 是 很 方便 的 。 
定理 2.3. 18 BR wtAKRSUXAA yH 的 向 量 集合 一 一 对 应 : 当 且 仅 当 JET 一 y HT 时 两 个 向 
量 y 和 yy 在 相同 的 陪 集 之 内 。 换 和 句 话说 ， 陪 集 是 用 奇偶 校 验 矩阵 的 列 空间 ( 值 域 ) 来 确定 的 。 
证 明 HHNH ytyeC On, Atay Ay 在 相同 的 陪 集 之 内 ， 即 

(y+ y’)H* = yH'+y'H* =0, 即 yET 三 HT Oo 

在 实际 中 ， 解 码 规则 的 实施 如 下 。 形 为 yH” 的 向 量 称 为 伴随 式 : 对 于 一 个 线性 CN， 
) 码 存在 2* “个 伴随 式 。 它 们 被 列 在 伴随 式 列表 中 ， 对 于 每 一 个 伴随 式 计算 一 个 相应 的 陪 
集 首 。 当 接收 到 一 个 字符 y 之 后 ， 计 算 伴随 式 yH"， 然 后 在 伴随 式 列表 中 找到 相应 的 陪 集 
首 w。 然 后 根据 式 (2. 3.7): Ax. =y+w 来 译 码 y。 

这 个 过 程 被 称 为 伴随 式 译 码 ; 虽然 它 相 对 来 说 简单 ， 但 是 需要 写 出 一 个 较 长 的 陪 集 首 
列表 。 而 且 最 好 将 整个 解码 算法 设计 得 与 具体 码 字 ( 即 它 的 生成 矩阵 ) 彼 此 独立 。 这 个 目标 
可 以 在 Hamming 码 的 情况 下 实现 ， 

EH 2.3.19 对 于 Hamming 码 而 言 ， 与 每 伴随 式 对 应 的 陪 集 首 w 是 唯一 的 ， 并 且 该 陪 集 
首 最 多 包含 一 个 的 非 零 数 位 。 更 精细 地 说 ， 如 果 伴 随 式 y CH)" =s 给 出 校 验 矩阵 HHH" 
的 列 2， 那 么 相应 陪 集 的 头 只 有 一 个 非 零 数字 i, 
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EA 陪 集 首 最 小 化 了 接收 符号 和 码 之 间 的 距离 。 Hamming 码 是 完美 的 单 符号 纠 错 码 。 
因此 ， 每 个 字符 要 么 是 个 码 字 要 么 与 一 个 唯一 的 码 字 只 有 1 的 距离 。 因 此 ， 陪 集 首 是 唯一 
的 并 且 包 含 最 多 一 个 非 零 数 位 。 如 果 伴 随 式 pH =s 占据 了 奇偶 校 验 和 矩阵 中 第 i 列 的 位 置 ， 
那么 对 于 只 有 一 位 非 零 数字 i 的 码 e; 二 0…10*…0， 我 们 有 

(y+ 
BREH, CGytedER, eCyt+®. BR, e 是 陪 集 首 。 口 


二 元 Hamming BML” 形成 一 个 类 特别 的 码 ， 叫 作 单纯 形 码 。 如 果 多 sm 是 [2 


—1, 2—10, THREE 1, JB, RARER RER Bee” 
的 生成 矩阵 。 
举例 2. 3. 20 EA- -NDARAB 中 的 每 个 非 零 的 码 字 重 量 为 22 1， 并 且 任何 
两 个 码 字 之 间 的 距离 等 于 2 全 !， 因 此 符合 单纯 形 码 的 定义 。 
Re MBQ= QB — FE Hamming[2: 一 1，2: 一 1 一 门 码 ， 那 么 它 的 对 偶 必 上 是 [2 一 1， 
站 码 ， 它 的 LX (2' 一 1) 生 成 矩阵 为 HY"。HM" 中 任意 一 行 的 重量 等 于 2 (因此 dB) = 
27), EXE, A hs j THREES] 位 置 具有 长 度 1 的 非 零 向 量 的 数量 。 这 样 可 
以 计算 出 重量 2 二 ， 因 为 .和 6, 的 所 有 2: 个 向 量 中 在 任意 指定 位 置 为 1 的 数量 为 2 的 一 半 。 

现在 考虑 Ye 中 的 一 个 一 般 码 字 ， 它 可 以 通过 HW jh, = j 的 和 来 表示 ， 
这 里 s<l, IKLS RPE MRR 2, 这 给 出 了 非 零 码 字 vay, € 
91: 的 数量 ,其 中 加 和 项 v 十 … 十 wv 王 1。 而 且 ，2 生 1 给 出 .Xi 中 二 半 的 向 量 的 重量 。 事 
实 上 ， 我 们 需要 让 v teu, 二 1， 这 样 对 于 包含 的 s 个 数位 就 产生 了 2”! 种 可 能 性 。 接 下 
来 ， 我 们 对 剩 下 的 可 能 性 为 2 的 1 一 s 个 数位 不 加 以 限制 。 那 么 27° XK 2° =2"'~, PLL, 
对 于 所 有 非 零 码 xE 2 RARE w(x) =—2"', BR, WFR x, LEK, xx, HB 
d(x, x) =000, xt+x)=wixtx') BSF 2-7, RL, HE eC QZ ERNEA 2 
“顶点 ”的 “单纯 形 ” 几 何 图 样 。 口 

接 下 来 我 们 简单 总 结 关于 定义 在 符号 集 FF, 二 {0，1，…，g 一 1} 上 的 线性 码 基本 性 质 ， 
这 里 g 二 p*。 现 在 我 们 针对 Hamming Z Hy ,使 用 符号 FxN 。 
定义 2. 3.21 WMR q eB PERB—M MB xS ay, x Hz ry 的 线性 组 合 
yexty +x’ UERY. y E 了 并 且 加 法 定义 为 数位 相 加 > © rity e r KRETZ. BA 
儿 是 线性 的 。 也 就 是 说 允 是 Fx%y 的 一 个 线性 子 空 间 。 因 此 ， 就 像 在 二 进 制 的 情况 下 ， 一 个 
线性 码 总 是 包含 向 量 0=0…0。 线 性 码 的 基 再 次 被 定义 为 多 中 包含 最 大 数量 线性 无 关 码 字 
的 集合 。 线 性 码 通 过 它 的 基 生 成 ， 也 就 是 说 每 个 码 向 量 ( 唯 一 地 ) 表 示 为 基 码 向 量 的 线性 组 
合 。 基 向 量 的 数量 叫 作 码 的 维度 或 者 秩 ; 因为 一 个 给 定 线性 码 的 所 有 基 都 包含 相同 数量 的 
向 量 ， 这 个 对 象 ( 码 的 维度 ) 可 谓 被 正确 地 定义 了 。 就 像 二 进 制 的 情况 一 样 ， 长 度 为 N 秩 
Ak 的 线性 码 被 称 为 LN，&k] 码 ,或 者 当 它 的 距离 等 于 d 时 是 可 进一步 定义 LN,k，d] 码 。 

就 像 二 进 制 的 情况 一 样 ， 线 性 码 光 的 最 小 距离 等 于 最 小 非 零 码 字 的 重量 

aX) = mini wlx):x E & x40] 
其 中 
W(X)= #{(ij:1<j< Nz; EF, LAH (2. 3. 8) 
x= z eaey E FRY 

线性 码 .2 可 通过 一 个 生成 矩阵 G 或 者 奇偶 校 验 矩 阵 百 E, RECN, k15 WERE EE 
一 个 &XN 的 矩阵 G， 其 元 素 取 自 到， 这 里 了 及 WH e@—=—gaegn, 1Si<k MRO. 


编码 理论 简介 127 





奇偶 校 验 和 矩阵 是 一 个 (N 一 &) XN EH. EMTCRRAR,, 而 WTR Shahn, 
1] 委 ) 委 和 一 线性 独立 并 且 和 8 是 点 = 正 交 的 : 对 于 所 有 j= 二 1，*…N 一 k& AP PBS x= 
BI SENI WA 

(xe h(j)> — Sao Xjh x =0 


I<i<N 

换 句 话说 , PWM t 个 码 字 由 和 矩阵 G ITRE. TE A a a A E 
阵 G 对 Hamming Z HF} 的 一 个 操作 : 具体 而 言 ， 儿 三 BF 4G。 这 说 明了 码 .和 是 如 何 编码 
q 个 长 度 为 &£“ 消 息 ” 的 (并 且 解 释 了 信息 速率 pC. 2Q)=k/N). A-HHh., RRM HK 
( 零 空 间 ): WH' 二 0。 这 里 一 个 有 用 的 联系 是 检验 : 对 于 履 的 对 偶 码 久 ”， 上 述 情 况 是 相 
反 的 ， 即 五 是 生成 矩阵 ，G 是 奇偶 校 验 矩阵。 与 举例 2. 3. 5 比较 。 

当然 ， 一 个 给 定 码 的 生成 矩阵 和 奇偶 校 验 矩阵 不 是 唯一 的 ， 例 如 ， 我 们 可 以 交换 G 中 
的 行 g(7) 或 者 进行 行 间 运算 ， 用 行 的 线性 变换 取代 其 中 的 一 行 ( 但 是 要 保证 原始 行 的 系数 
不 能 为 零 )。 交 换 G 中 的 行 得 到 一 个 不 同 但 是 等 价 的 码 ， 它 的 基础 几何 参数 和 .多 的 是 一 
样 的 。 
引 理 2. 3. 22 ”对 于 任意 [N，k] 码 ， 存 在 生成 矩阵 为 G 且 满 足 范式 G 一 (G'I) 的 等 价 码 ， 
这 里 五 Z—PRRE KA BE, GER RX(N-k) BE, KM, FRR E E 
理 也 可 有 一 个 标准 形式 (In_H')。 

现在 我 们 讨论 一 般 秩 为 的 线性 码 居 的 译 码 过 程 。 正 如 我 们 之 前 提 到 的 ， 它 可 能 被 用 
来 编码 长 度 为 的 源 信息 (字符 序列 )u 二 ww…wu。 当 生成 矩阵 和 奇偶 校 验 和 矩阵 是 典型 (或 者 
标准 ) 形 式 时 ， 源 信息 编码 uc FF 一统 将 变 得 特别 简单 。 
EH 2.3.23 ”对 于 任何 线性 码 色 ， 存 在 与 之 等 价 的 码 % , K H EREE GC oR ie e 
H" 符 合 标准 形式 (2. 3. 4a) 和 (2. 3.4b)， 并 且 G' 三 一 (HT。 
证 明 假设 码 居 是 非 平 几 的 ( 即 不 会 变 成 字符 0) 。 写 出 儿 的 一 个 基 然 ， 后 得 到 相应 的 生成 
ERE G, BUTERA CAT IM 或 者 用 行 i 加 j 来 替换 行 i) 我 们 可 以 改变 基 但 不 改变 
mH. EE G 包含 一 个 非 零 列 ，4 : 通过 行 变换 来 让 guw 成 为 该 列 中 的 唯一 非 零 元 素 。 通 过 
BRS A), WAL, 放 到 位 置 N 一 &。 放 弃 行 1 和 列 N 一 上 A( 即 老 的 列 2 ) 并 且 对 剩 下 的 进 
行 相同 处 理 ， 结 果 得 到 列 2 中 的 唯一 的 非 零 元 素 guo HI 1; 放置 在 位 置 N 一 & 十 1 处 。 
继续 直到 出 现 一 个 上 三 角 有 &XR 子 矩阵 。 下 一 步 的 计算 仅仅 关于 这 个 矩阵 。 如 果 这 个 和 矩阵 
是 一 个 单位 矩阵 ， 那 么 运算 结束 。 如 果 没有 ， 那 么 选取 第 一 列 不 多 于 一 个 非 零 元 素 。 将 相 
对 应 的 行 从 底 加 上 去 来 “消灭 ”多 余 的 非 零 元 素 。 重 复 这 一 步骤 直到 出 现 一 个 单位 矩阵 。 
现在 生成 矩阵 为 标准 形式 ， 并 且 新 的 码 与 初始 码 等 价 。 口 

为 了 完善 证 明 ， 观 察 出 现在 式 (2. 3. 4a) MR. 3. 4b) PA Gh A HA G = 
一 (CH')*， 两 个 矩阵 分 别 有 上 个 独立 的 行 和 NN 一 个 独立 的 列 。 除 此 之 外 ，kX (CN 一 ) 维 
矩阵 Ge CH)" 消失 了 。 事 实 上 

(Ge (H™)"), = (G! K4 i+ (HT WHIZ) =e; ag =0 

因此 ，H™ 是 G 拉 的 校 验 矩 阵 。 

回 到 源 编码 ， 选 择 满 足 范 式 的 生成 矩阵 G*”™” 。 然 后 给 出 一 个 字符 序列 w= 二 ww…wu， 令 


天 反方/ 机 (1 ， 这 里 g™( 引 表示 G” HÍT i. x 中 的 最 后 数位 给 出 了 字符 序列 w， 它 们 


被 称 为 信息 数位 。 前 面 的 N 一 & 位 确保 xE 避 ,它们 被 称 为 奇偶 校 验 数位 。 
标准 形式 非常 方便 ， 因 为 在 上 面 的 表达 式 光 三 严 “G 中 每 个 码 字 前 面 的 (N 一 ) 长 序列 
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被 用 于 编码 (用 于 检测 和 纠 错 )， 后 面 的 长 序列 表示 选 自 域 F2* 的 消息 。 在 二 进 制 的 情况 
F. FARRER H 满足 定理 2. 3. 11。 特 别 地 ， 一 个 码 的 最 小 距离 等 于 其 奇偶 校 验 和 矩阵 
H 中 线性 相关 的 列 的 数量 。 

定义 2.3.24 给 出 一 个 LN， ACTH, 奇偶 校 验 和 矩阵 为 吾 ，N 维 向量 的 伴随 式 yE 
Fy’ 是 上 E yH CF, 伴随 式 子 空间 是 FY*H" 的 值 域 ( 列 空 间 )。 根 据 向 量 we Ry 
决定 的 红 的 一 个 陪 集 表示 为 ww 十 多 并 且 形 式 如 同 w 十 x 的 码 字 ， 这 里 xXECR. MARE 
拥有 相同 数量 的 元 素 ， 等 同 于 gq ， 并且 将 整个 Hamming 空间 局 “ 分 成 gx 一 个 不 相交 的 子 
集 : 码 儿 是 其 中 一 个 。 陪 集 和 相应 的 伴随 式 yH 一 一 对 应 。 伴 随 式 编码 过 程 在 二 进 制 情 
况 下 表示 为 : CARRE) ERr. =y+w, 这 里 w ERR yt ZEAE y+ VPM 
重 最 小 的 码 字 ) 。 

所 有 在 二 进 制 情况 下 存在 的 缺点 在 g 元 的 情况 下 依然 存在 (事实 上 更 加 严重 ) 陪 集 表 
非常 庞大 ， 陪 集 首 可 能 不 是 独一无二 的 。 人 然而， 对 于 g 元 Hamming 码 ， 伴 随 式 译 码 性 能 
良好 ， 我 们 将 在 2. 4 节 中 看 到 。 

在 线性 码 的 情况 下 ， 一 些 界 还 可 以 改进 (或 者 可 以 产生 新 的 界限 ) 。 
举例 2.3.25 人 儿 是 一 个 三 进 制 线性 LN，R&，dqdj] 码 。 

(a) 选取 一 个 及 个 非 零 数 位 的 码 字 YE 和 。 证 明 对 儿 中 码 字 工 在 非 堆 数位 截断 可 产 
生 一 个 长 度 为 N 一 4d， 秩 为 一 1 BSB d'S[d/2 WRAL No 

(b) 降低 Griesmer 界 进而 提高 Singleton 界 (2.1.12) 

N>d+ >) [$] (2. 3.9) 


1<¢<k-1 


RE (a) 不 失 一 般 性 ,假设 x PEER aul, EAF 1，…，d 上 进行 截 
MEPEK n-a Kl ERE, 假设 一 1 个 向 量 的 一 个 线性 组 合 在 位 置 d 十 1，…， 
N 上 趋 于 0。 那 么 在 位 置 1，…，d 所 有 的 值 等 于 0 或 者 1 因为 d 是 最 小 距离 。 但 是 除非 
向 量 是 线性 相关 的 ， 否 则 第 一 种 情况 不 可 能 发 生 。 第 二 种 情况 同样 会 引出 矛盾 ， 比 如 通过 
增加 序列 x TERS k PEM. EFK, RAW d’<[d/2|HF AA 


y EXM wy’) = Dane. 


E yERA y /在 截断 下 的 翻转 镜像 。 根据 式 (2.1. 6b)， 我 们 可 以 写 出 二 进 制 码 外 积 的 性 质 
wily) = wx A ytwlytts Ay) Sd 
因此 ， RUME wixA y)>d—[d/2], WE 2-5, 





那么 d 
w(x) = w(x A y)+wlxt(x A y)) =d a 
表示 w(x 十 (xzAyJ))<[ 4d/2 ]。 但 是 这 是 一 个 矛盾 ， 因 为 seas ae oe 
waty =werettxA yItwlthe A yd noy 
RITAR d'2 d/2 1, y+ Gey) 
Cb) HE FR Ca) PHY I IE A i 
N>d+d + +dm En ga 





其 中 | 等]. Slat, Rna 


Rad [4] 


I<t<k-l 


总 结 这 一 部 分 ， 我 们 对 线性 码 的 GV 界 进 行 了 详尽 描述 。 
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定理 2. 3. 26 (Gilbert 界 ) 如 果 q= p 是 一 个 单 素 数 窜 ， 那 么 对 于 所 有 的 整数 N fod A 2< 
d<N/2， 当 满足 下 面条 件 时 ， 
d >q"/tn..(d — 1) (2. 3. 10) 

存在 一 个 最 小 距离 三 @d Hq 元 线性 LN, k, djs. 
证 明 令 惕 为 一 个 线性 码 ， 这 个 码 的 最 大 秩 和 距离 都 至 少 为 4。 如 果 不 等 式 (2. 3. 10) 不 成 
立 ， 那 么 所 有 围绕 码 字 半径 为 d 一 1 的 Hamming 球 所 组 成 的 集合 不 能 覆盖 整个 Hamming 
空间 。 所 以 必须 存在 一 个 点 y 属于 任意 码 字 周围 的 Hamming 球 中 。 那 么 ， 对 于 任意 码 字 
x 和 任意 标量 5E F,， 向 量 y 和 y 十 6. x 在 性 有 相同 的 陪 集 。 同 样 地 y 十 6， x 不 能 在 半径 
为 d 一 1 的 任意 Hamming 球 中 。 这 同样 适用 于 x 十 5。y， 因 为 如 果 xto. y EHF Ham- 
ming 球 中 的 话 ，y 将 会 在 其 他 一 个 码 字 周围 的 Hamming 球 中 。 这 里 我 们 用 到 了 是 一 个 
RASEK., QA y 张 成 的 向 量子 空间 是 一 个 比 统 还 要 大 的 码 ， 其 最 小 距离 至 少 为 4。 显 
然 ， 这 是 一 个 矛盾 ， 因 此 得 证 。 T 

举例 ， 令 q=2, N=10, BA 2f <vo.: (2)=56<2f, 4d=3 MN, Gilbert 界 保证 了 二 
元 [10，5]] 码 在 d>3 情况 下 存在 。 


2.4 Hamming 码 ，Golay 码 ，Reed-Muller 43 


在 这 部 分 我 们 会 系统 地 学 习 在 一 个 一 般 有 限 字母 表 E, 中 具有 4 个 元 素 的 码 ， 这 里 假设 
F 是 一 个 域 。 我 们 再 一 次 申明 g 需要 是 一 个 形式 为 p' 的 数 ， 其 中 p 是 一 个 素数 ，s 是 一 个 
自然 数 ， 元 素 符 加 (十 ) 和 乘 (，) 也 需要 被 特殊 定义 。( 如 前 文 所 说 ， 如 果 g= p 并 且 都 是 素 
数 ， 我 们 可 以 认为 二 {0，1，…，g 一 1}， 在 多 中 的 加 和 乘 也 是 标准 的 ， 即 模 g 运算 。) 见 
3. 1 节 。 相 应 地 ， 长 度 为 N 的 Hamming 空间 .和 Nn,, 像 前 面 一 样 被 确定 为 Cartesian AF’, 
其 中 的 数字 来 自 于 了 及， 并 且 Hamming 空间 还 通过 标量 继承 分 量 形式 加 和 乘 。 


定义 2. 4.1 给 定 正 整数 g，/ 之 2， 设 N 一 人 二 ，k 一 N 一 /， 根 据 符号 集 构建 4 元 [N， 


&，3]Hamming BQN" 如 下 。(a) 选 取 任 意 非 零 4 元 2 字符 有 EH rao (db) HEME BAF 


零 g Tul 字符 h”E€ .M1.。， 但 不 能 是 kh 的 标量 乘积 。(c) 继 续 : MRK, ，…， 天 ?包含 当前 
已 经 选取 的 4 元 Z -字符 ， 选 取 任 意 非 零 向 量 k” CH,,, ERMA”, =, hO 的 标量 
R., 其 中 1<s<N 一 1。(d) 这 个 过 程 终 在 选择 N THEA”, +, AY SAI; RAB 


成 了 一 个 列 为 RY ” e, WY 的 LXN ME | BQN CORN 通过 奇偶 校 验 矩阵 H 
EL. REXEL, 我们 在 这 里 处 理 一 族 等 效 码 ， 对 字 h”，，1 壹 过 N 的 选择 取 模 )。 

为 了 简洁 ， 我 们 将 会 使 用 多 ”和 百 &( 或 者 如 果 可 能 的 话 使 用 更 简单 的 ED TAQ 
AH". Ze — ER AYE L F (q=2). EME H 由 长 度 为 4 的 非 零 二 元 列 向 量 组 成 。 对 于 一 
般 情况 我 们 会 排除 列 标量 乘积 所 获得 的 完 余 列 。 对 于 一 般 的 g, 需要 去 除 互 为 倍数 的 列 。 最 
后 ,我 们 能 选择 所 有 非 零 4 码 字 作为 列 ， 这 些 码 字 在 它们 的 最 顶层 非 零 元 素 中 含有 1。 这 样 


的 列 是 线性 独立 的 ， 它 们 的 总 和 等 于 全 地。 接着 ， 在 二 进 制 的 情形 下 ， 可 以 按照 字典 顺序 把 


SAR, 中 的 数字 编写 在 一 起 。 通 过 构造 ，H” 中 任何 两 列 都 是 线性 独立 的 ， 但 是 存在 三 个 
REMEHA. HR, dB ) 王 3， 允 ”能 检查 两 个 错误 ， 纠 正 一 个 。 此 外 ， 胸 ”是 纠正 单 
个 错误 的 完美 码 字 ， 因 为 

1 


fE 
MA+U=DN) =¢(1+@—-D milning 


199 








200 
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正如 在 二 进 制 情况 下 ， 一 般 的 Hamming 码 只 承认 一 个 有 效率 (和 简洁 的 ) 的 译 码 过 程 。 假 
设 如 上 构造 了 一 个 奇偶 检验 矩阵 HOH"), REE y€ FXYN， 我 们 计算 出 校 验 子 
yH TEF. WMR 5 "二 0， 那么 y 是 一 个 码 字 。 男 外 ， 对 于 一 些 j=1, …, N, a€ER\ 
{0}, Wat Wy 是 吾 : HTy 二 a*， h HIA? HRE. AE, yH =a + e(j)H", 
其 中 码 字 eG) =0-1-0€ Fn, HB j Mie 1, Hehe 0)。 那 么 可 以 用 x, = ya. e(j) 来 
解码 y， 即 把 y 中 的 数位 y; 简单 修改 为 yj; 一 a。 

我 们 总 结 如 下 。 


定理 2.4.2 g 进 制 的 Hamming 码 对 于 NN 二 一 1，4 二 1，2，.…， 组 成 一 个 族 
hi 


ee 
RKB FIN 根据 译 码 规则 可 以 纠正 一 个 错误 ， 这 个 译 码 规则 是 在 一 个 接收 码 字 yoy 
ynE FS’ 中 把 y 中 的 数位 y; 修改 为 yj 一 a， 其 中 ISJKN, aCEr, \ (0s He HW y=a- 
17” ， 即 奇偶 校 验 撼 阵 百 的 列 j 的 a 倍 确定 。 

Hamming 码 在 20 世纪 40 年 代 的 后 期 由 R. Hamming 和 M. Golay KH, Hamming T. 
作 在 Los Alamos， 那 时 他 从 一 个 电子 工程 师 转型 为 一 个 计算 机 科学 家 (他 自称 是 当地 核 物 
理学 家 们 的 “聪明 的 看 门人 ”)。 这 个 发 现 重 新 定义 了 20 多 年 来 的 编码 理论 : 人们 努力 地 
把 Hamming 码 的 性 质 扩 展 到 更 宽 的 编码 领域 (取得 了 很 多 进展 )。 本 书 中 讨论 的 大 多 数 关 
于 编码 的 话题 都 以 某 种 方式 和 Hamming 码 相 联 系 。Richard Hamming 不 仅 是 出 色 的 科学 
家 ， 他 也 有 巨大 的 人 格 魅 力 ， 他 的 文章 既 有 趣 又 引 人 深 思 。 

直到 20 世纪 50 年 代 的 后 期 ，Hamming 码 仍然 是 唯一 一 个 存在 于 维度 N 习 co 的 拥有 
“正则 ”性 质 的 编码 族 。 人 们 随后 发 现 这 个 编码 有 很 深 的 代数 背景 ， 基 于 这 些 观察 得 到 的 
代数 理论 的 发 展 仍然 是 现代 编码 理论 的 主要 主题 。 

另 一 个 重要 的 例子 是 四 个 Golay 编码 (两 个 二 进 制 ， 两 个 三 进 制 )。Marcel Golay 
(1902 一 1989) 是 瑞典 的 一 个 电子 工程 师 ， 他 长 期 工作 生活 在 美国 。 他 有 惊人 的 能 力 去 “ 洞 
察 ”Hamming 空间 的 离散 几何 学 ， 而 不 纠结 于 证 明 而 “猜想 ”到 多 种 码 字 的 构造 。 

二 进 制 Golay 编码 是 一 个 [24，12] 编 码 ， 它 的 生成 矩阵 是 GCT |G ) ， 其 中 五 :是 一 个 
12X12 的 特征 矩阵 ，G (二 Geo) 有 如 下 的 形式 











Om ple tee ee Lol 
Peis ao PRY oH Mo TN 6 
ti OST ML Ml ee a Ge ee Ff 
Ry eee Ti OG MDS a a My 
rent oO Hani yo f° EG 
ay ye 
a Oe eee CO. i 
Wee To Hh OG .1— Pe 9 
ll Al lr Tl ud 
ta EO la wl 
it 0 LO le 
1 fel “12°C A 
构造 矩阵 G 的 规则 是 专门 设计 的 (这 是 由 M. Golay 在 1949 年 定义 的 ) 。 在 分 析 Golay 编码 
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的 时 候 ， 将 会 有 专门 的 一 些 论据 。 
备注 2. 4.3 有趣 的 是 ， 存 在 一 个 构造 所 有 的 .2&22 码 字 ( 或 者 等 价 于 它 ) 的 系统 方法 ， 这 个 
方法 把 两 种 版 本 的 Hamming(7, 4) 27 结合 在 一 起 。 首 先 ， 观 察 到 颠倒 一 个 Ham- 
ming 编码 27 所 有 位 的 顺序 产生 一 个 等 价 的 编码 ， 用 多 7 RR RMA MA, 添加 一 
个 奇偶 校 验 ， 产生 编码 We MAS”. BUG, RTA a, DEQ ”和 一 个 
编码 xE2a，。 那 么 所 有 的 长 度 是 24 的 移交 的 2 个 码 字 可 以 写成 级 联 (a 十 x) (Cb 十 x) (a 十 
b 十 x)。 这 可 以 用 生成 矩阵 来 检验 。 
引 理 2.4.4 ”二进制 编码 如 2 是 自 对 偶 的 ， 满 足 W21 SKa o HK a T A h E E 
G(G | In) ER. 
证 明 一 个 直接 的 计算 表明 ， 矩阵 G 的 任意 两 行 是 点 正 交 的 ， PUM CH. 但 是 

A, 的 维 数 是 相同 的 。 所 以 ， 和 2 =|). 引 理 的 最 后 一 个 推断 是 根据 性 质 
(G')™=G’. Fy 
举例 2. 4.5 证 明 距 离 dLE )=8, 
解答 “首先 ， 对 于 所 有 的 xE Ri. w(x) MER 4 BR. MERE GU.: | G ) 的 每 一 列 这 
个 结论 都 成 立 : 1 的 数量 是 12 或 者 8 中 的 一 个 。 接 着 ， 对 于 所 有 二 进 制 N 长 度 的 码 子 
Ks X 

wlx x) = w(x) + w(x’) —2wlx A x’) 

其 中 (x 入 y) 是 棉 积 ， 满 足 数位 (x 人 y);=min(x;,. y), 1SjSN(SFH(2.1.6b)). (A 
对 于 任何 矩阵 G 的 行 对 g(),，g(j')，w(g(j) 人 g(j')) 二 0mod2。 所 以 ， 对 于 所 有 xE 
Re. 4 可 以 整除 wx). 

HRW, La 没有 权重 是 ,4 的 码 字 。 为 了 证 明 这 一 点 ， 比 较 两 个 生成 矩阵 ，( 了 hs/ 
GAG)" |In. MR xe Ry PH w(x) 一 4， 把 x 写 为 二 个 级 联 x xe. e |G) AWE 
何 非 平凡 和 有 至 少 是 1 的 半 - 工 权 ， 所 以 w(xi) 宇 1。 相 似 地 ，w(xx) 宕 1。 但 是 如 果 w(xi)= 
1, 那么 x 必须 是 (I |G) 中 的 一 行 ， 加权 不 可 能 是 3。 所 以 ，w(xi) 宇 2。 相 似 地 ，w(xx) 写 
2, 但 是 ， 唯 一 的 可 能 性 w(xi) 二 w(xg) 二 2， 这 是 不 可 以 直接 校 验 的 。 所 以 ，w(x) 宇 8。 
但 是 ，(I; |1G') 含 有 加 权 是 8 H. MA, dT ) 一 8。 al 

当 我 们 在 任意 数位 把 .%," 截 短 ， 得 到 %Y,”， 一 个 [23，12，7] 编 码 。 这 种 编码 是 完美 
的 3 纠 错 码 。 我 们 添加 一 个 奇偶 校 验 就 可 以 从 多 PREKE. 

Hamming 码 [2 一 1，2 一 1 一 4A，3] 和 Golay 码 [23，12，7] 是 唯一 可 能 完美 的 三 进 制 
线性 编码 。 


长 度 为 12 的 三 进 制 Golay REZ 的 生成 矩阵 是 (I | G's )， 其 中 


12,3 


S 


pb eet 
a I a 

; Da oei ae a 、 

oad dd (2. 4. 2) 
Ma 
bate T 


三 进 制 Golay ABWZ BQ” tea — TL —T A 


11.3 12,3 


定理 2. 4.6 三 进 制 Golay BRO =H” #[12, 6, 6], MBN” A, 6, 5], 所 以 


12,3 


202 


203 


132 R2* 


是 完美 的 。 
证 明 ”编码 [11，6，5] 是 完美 的 ， BIW vna (2) 一 1++11X2 十 六 2 。 余 下 的 证 
明 留 作 一 个 练习 。 口 


Hamming aS, 3 一 1 一 上，3] 和 Golay 码 [11，6，5] 是 唯一 可 能 完美 的 三 进 制 线 


性 编码 。 此 外 ，Hamming A Golay 码 是 唯一 完美 线性 编码 ， 它 存在 于 任何 F, 中 ， 其 中 
=p 是 一 个 素数 需 。 所 以 ， 这 些 编码 是 唯一 可 能 的 完美 线性 编码 。 甚 至 非 线性 的 完美 编 
码 都 没有 带 来 任何 本 质 上 新 的 特性 : 它们 和 Hamming 码 和 Golay 码 都 有 相同 的 参数 (长 
度 、 大 小 和 距离 )。Golay 码 在 20 世纪 80 年 代用 于 美国 的 航海 者 宇宙 飞船 项 目 ， 用 于 传输 
木星 和 土星 的 特写 照片 。 

下 一 个 广泛 运用 的 例子 是 Reed-Muller 编码 。 对 于 六 二 2"， 考 虑 二 进 制 Hamming 空 
GEART E AT 4 M(=M,,) f=—* mX N 的 和 矩阵， 其 中 列 是 整数 j=0， 有 N-1 9 
二 进 制 表示 ， 最 低 有 效 位 在 首位 置 : 


p= frre i et (2, 453) 
所 以 
i 2" —1 
eo Py? sve Dae 
O80. A tee A Po 
mek RACER ee (2. 4. 4) 
0 0 0 wee 1 vn") 
0 0 0 = c 1]o™ 


MHASH TAL. PME, TERAZ PI, Fv, 1, ve 表示 。 特 别 
ov" Ai 2" 个 元 素 是 0， 最 后 2” 21. ATM, 得 到 M,-;， 我 们 必须 丢弃 最 后 一 
行 ， 从 剩 下 的 (m 一 1) XN 矩阵 中 取 两 个 相同 一 半 中 的 一 个 。 相 反 地 ,为 了 从 M,-: 得 到 
M.， 需 要 级 联 两 个 M, 的 拷贝 ， 并 且 添 加 行 v™ : 
Mii -Ma 
g.g pel 
考虑 Mu Hw, or, w, EPDM 1, 2, 45 vy, 27, 这些 列 组 成 了 多。 中 
的 标准 基 : 


M,, = | (2. 4. 5) 


by D0 0 
omj 0 
0. O 1 


那么 在 位 置 j 一 2 ji2” 上 的 列 是 D jiw 


l<i<m 


HE”, i=; …，m， 可 以 解释 为 集合 gf;C. 和 06, 的 示 性 函数 ， 其 中 第 i 个 位 是 1: 

Bi = 1j © Hs:ji = 1)} (2..4. 6) 

HIB RIE FR BL BAR(2.1.6b)), v Nv Ao? BRB ASO 门 … N Ao 的 示 性 函 

数 。 如 果 对 于 所 有 的 is ei BAAN, RWA H Ni caWGo=2"", MIBK, Ki 
有 如 下 结论 。 
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引 理 2.4.7 权 w( 人 igati? y=2"* = 


一 个 重要 的 事实 如 下 。 
定理 2.4.8 me vO=—1le 1 f Ngat s, [Ki KeK Sm, k=l, =, m 构成 了 
Fen. MK. 


证 明 ”我们 能 够 验证 N 长 码 字 的 标准 基 e(j) 二 0…1…0(1 在 7 位 置 处 ， 其 他 是 0) 可 以 表示 
成 上 述 向 量 的 线性 组 合 。 但 是 

elj) = Nicicm(v HAHP) v) OK IN- 1 (2. 4.7) 
(在 7 位 置 的 所 有 因子 等 于 1， 至 少 有 一 个 因子 在 lA; 的 位 置 处 等 于 0。) 
例子 2.4.9 XF m=4, N=16 


wd = LL 

v“ = 0101010101010101 

v® = 0011001100110011 

v® = 0000111100001111 

v = 0000000011111111 

v® A v® = 0001000100010001 

v® A v® = 0000010100000101 

v? Av EE ee ae 

v® A v® = 0000001100000011 

v®™ A v= 0000000000110011 

v® A v“ = 0000000000001111 

v® A v® A v® = 0000000100000001 
v? A v® A v® = 0000000000010001 
v? A v® A v® = 0000000000000101 
v® 人 v® A v = 0000000000000011 
v® A v”? A v® A v® = 0000000000000001 


S 
定义 2. 4. 10 已 知 0<r<m， 阶 数 为 + 的 Reed-Muller RM RBZ" (r, mEKE N=2" 
的 二 进 制 编码 ， 它 由 所 有 的 槐 形 乘积 人 i<j<iz@2 Ao KB, HPI, 1h <<< 


7 Or; m) 的 秩 等 于 1+ |" |+- +{" li 


所 以 0, MECKA, MCK ™ mnl, my CH m, m) KBB™ Cn, 
m)=X n: ÆA Hamming 空间 ， 并 且 .& (0，m) 一 {00…00，11…1)} 是 重复 编码 。 接 
A, Knl, m) h RABE xE Rn BFAR: BEE). LHL, 
根据 引 理 2. 4.7， 任 何 基 向 量 都 是 偶 的 。 进 一 步 可 推出 ， 如 果 x, x’ EB WA 

wlx + x’) = w(x) + w(x’) — 2wlx A x’) 
也 是 偶 的 。 所 以 ， 所 有 码 字 .& nl, mM BRM. BRT, L™ nl, m HERS 
偶 码 字 子 空间 的 维 数 相等 。 得 证 。 当 8 (r，mC& ml, m), rm 一 1， 任何 RM 
编码 由 偶 码 字 组 成 。 

HEBEL, m+ = 2" (m—r—-1, m). WH, MH ACH", m), bE 
XH (m—r—-1, m), BARB anb 是 一 个 偶 码 字 ， 所 以 点 乘 (a， b)=0, (AE 

dimC@™ (r,m)) + dim Z (m— r—1,m)) = N 


206 
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因此 得 证 。 作 为 推论 ， 编 码 .2& (wm 一 2，m) 是 Hamming 编码 的 奇偶 校 验 扩展 。 
REEL, WEEL O, m 与 模 形 乘 积 多 项 式 有 联系 ， 其 中 的 寡 等 变量 0, ，… 
1 的 阶 数 小 于 等 于 >， 系 数 是 0 和 1。( 这 里 ， 多 项 式 的 阶 数 由 在 和 项 单项 式 中 的 变量 
2，…u 的 最 大 数目 计算 。) 在 这 个 多 项 式 中 的 0 阶 单项 式 与 w ?成 比例 。 
把 这 种 一 致 性 写 为 
xE A™ rimep(y ,ev ), EB p: <r (2.4. 8) 
每 一 个 这 种 多 项 式 可 以 写成 下 面 的 形式 


De CV pe o) = vm 人 qu soe Ue) + (a pee em) 


满足 直径 q<r—1, degl<r, BF v Ngao, =, vU ER 2" 个 位 置 为 05 
利用 如 上 相同 的 表征 
giv sa"? ob © BW (r—1,m—1), 
Ico yo"? Joa E K (r,m—1) (2. 4. 9) 
进一步 ，2” -WBF x 可 以 写 为 级 联 2” SA: 
x = (ala) + (0|b) = (ala +b) (2. 4. 10) 
这 意味 着 Reed-Muller 编码 通过 块 积 结构 发 生 联 系 ( 参 考 例 2.1. 8Cviii) ) ， 
Arm = rm 1) ro1,m—1) (2. 4.11) 


所 以 ， 可 以 归纳 为 
d(H Or)) = 2" (2. 4. 12) 
KRE, HF m=r=0, d(Q™ O, 0))=2", 对 于 所 有 m, di B™ (nm, m))=1=2°. X} 
FRAmSr—-1, 假设 d(C m))=2*- AE (r—-1, m—1)) =2"". BA 
(参见 式 (2.4. 14)) 
dR™ (rm)= mint2d QO™ (rm —1)) d(H" Cr 一 1 和 一 1)) 
= min[2 + 27>, gmt] = per (2. 4. 13) 
总 结 一 下 可 得 到 以 下 定理 。 
定理 2.4. 11 RM BBB (r, m), (O<r<m)AKEAN=2", k= 》) S] ， 距 离 


0</<r 

d 一 2" "的 二 进 制 编码 。 并 且 

(1) B™ O, m)={00, Le LCR, mC Ce ml, myCH™ m, m)= 
Kos K| nl, MAHA BGKA RH NN ORS, K (m—2, m)X Hamming 码 [2" 一 1， 
2 一 1 一 办] 的 奇偶 校 验 扩展 。 

(2) Bor, mM=2" (r, m—1)| Z" G1, m— l) lresm— l, 

(3) Lir, mt (m—r—-1, m), 0Xr<m—1. 
举例 2.4. 12 定义 二 进 制 线性 编码 到 HL, HRRAB, |X, PR. AX, 的 子 码 。 
KiK 的 秩 和 最 小 距离 与 PX: MA, EARL RRK HRID, RA 

(| 和 DLL= Bt | Ai 
利用 块 积 的 构造 ， 反 之 亦 成 立 ， 定 义 Reed-Muller wA (r, m)(O<r<m), ERAR 
0<r<m—-1, PAR™ r, m) thata — 4 Reed-Muller 编码 。 
解答 ”两 个 线性 编码 2 TOK: CRA 的 块 积 定义 如 下 
BB = (ely t+ p:xe Svrwe ZZ} 

这 是 一 个 长 度 为 2N WAS. MRA, 的 基 是 x, oy me, Ka 的 基 是 yy ，…，yi， 
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BAL, | 2, 的 基 是 
(x | a | O O a O RS, 
FEZ, ks BRETX EE A 的 和 。 
接 下 来 ,我 们 计算 最 小 距离 
dW 1 | #1) = min[2d( #1) .d(%2)] (2. 4. 14) 
SOA HEK |X. MR yAO, WAR wxj +y) >w) dK). MH y=0, 
那么 w(x|x 十 y) = 二 2w(x) 宇 24 (i)。 这 表明 
daC2 | K) 三 min[2dC2 d(H) ] (2. 4. 15) 
另 一 方面 ， 如果 rEZ BA wx) =d(Q™), BWA dM |Lr)<wlx|x)=2d(QM). R 
后 ， WMR YEL: BA w= K), BA dM |M<w0|y=d(M.). WU RAH 
d(H | He) < min 2d( M1) dQ) (2. 4. 16) 
证 明了 式 (2. 4.14), 
现在 ,我 们 验证 > 
(Wi | EE CAEAD: 
MERAS ujute | KE Mex|x+yWEeRi |Z. AR 
(Culu +v)» (x|x+y))= u. x+ (u+ v). (x+y) 
=u. y+v.(x+y)=0 
因为 wxE&+ ，yE2 ，nE&t Atxet+ye®R,. AH. BHA 
rank Zt | @t)= N—rank(@2) + N—rank(Q1) 
= 2N—rank( Qi |X) = rank (Qı | #2)+ 
这 实际 上 表明 
(Ht | Bt) = (Kil K) (2. 4.17) 
回 到 RM 编码 ， 它 们 由 下 面 来 确定 : 

K| O, mRRKE A N=2" WAWER, Ln, MERKEA N=2" 的 
ENRERE no AFO <m, Br, MWA O, M=L™ a, m—1) | Br 1, 
m 一 1) 递 归 定 义 。 

HUW, OC, MAAK > 4 ALB BERS 2". HEM, BO Cm—1, m) 
EAT RG, MUK im EL OO, m) OH. RIKER, MF 0<r<m 一 1， 有 

™ (rmt = O™ (m—r—1,m) 
m>3 可 以 用 归纳 法 证 明 。 基 于 以 上 ， 我 们 可 以 假设 当 O<r<m—1 At, BG, m—1)+ = 
Yi (m—r—2, m—1) ME. 那么 对 于 O<r<m, HE 
™ rym) = (Wm 1) |B" Gr — 1,m—1))4 
= #™ (lm Dt | @™ (r,m—1)4+ 
= E™ (m—r—1,m—1) |B" (m— r—2,m—1) 
= #™(m—r—1,m) 口 

对 RM 码 的 编译 码 基于 以 下 的 观察 。 利 用 式 (2.4.5)， 对 于 所 有 的 ;人 (位 ，…， 头 )， 
当 且 仅 当 z 史 三 0 时， 乘积 z 人 人 … 信 wv" 存在 于 e(j) E96,,s 的 扩展 中 。 
定义 2.4. 13 HF 1S, << <i<m, BM 

Cis sik) 表示 所 有 整数 j = 》) j2 的 集合 
1<i<m (2. 4. 18) 
Mt iE first}, HEj =0 


207 


209 


了 36 H2F 





MF—HhASH(CR=0), CCO)={1, =, 27-1}, Wb, BA 
COE (2. 4. 19) 
那么 ， 再 次 利用 式 (2. 4. 5) ， 对 于 所 有 的 y= ye yn-i EHN. 


y= 2) pS 0 8 cles ca ye (2. 4. 20) 


0<km ISi << <i, Sm FEC, si, ) 
OF k=0, Rv.) 


m 


对 6,,; 中 的 一 个 信息 符号 序列 a= ata 进行 编 码 ， k=1+ | KF 
Lo 重 写 为 (a; i, 5 这 里 ， ly a i; 是 1 的 依次 的 位 置 。 那么 构造 一 个 码 字 为 x= 
Caos ty aD ERK ems 其 中 


x = > > ai, iy 
0<1Kr ISi <<, <m 





menel 


vi? A ms A wi 24.21) 


我 们 可 以 看 到 ， 通 过 识别 元 素 @; aea HEP GH jo HL erty I, ty oy i 
Æji» anty fac? I<S/Sr 1 的 依次 的 位 置 ) ， “信息 空间 ” HW r BLK A BFE wo PF 利用 这 
个 辨识 ， 可 以 得 到 下 面 的 引 理 。 

引 理 2.4.14 ”对 于 所 有 0!m fe 1, <i Km, 


i= a; 3/9 9 Meee = 


1 Wot. 


FEC, yy i,) 
=0, wRl>r C2. 4,22) 
证 明 可 以 参考 式 (2. 4. 20), 口 
引 理 2.4,15 对 于 所 有 <i <e<i,<m, Bt THE l<t<m, HB IE Li, es i) 
Aint, = pe (2. 4. 23) 


GEC, si, 427 
证 明 证 明 可 由 以 下 这 个 事实 推导 出 ， 即 C(ii ，…， i, 是 不 相交 并 集 CA, s i)U 
Cia tee MRR D xy = 0 CMH. 4. 19)), 口 


jiECG esi sl) 
而 且 有 如 下 定理 。 
定理 2. 4. 16 对 于 与 vm“ 相对 应 的 任意 信息 符号 a; ,…,; ， 我 们 能 够 将 集合 {0，…，N 一 1) 分 
AR “个 不 相交 的 子 集 S， 每 一 个 集合 都 包含 2 个 元 素 ， 使 得 对 于 所 有 的 S，ai,…,i = 


Bae? o 


jES 

证 明 集合 S 的 清单 开始 于 Chiyo 和 i,» 接 下 来 是 (m 一 7) 个 不 相交 集合 Chi vests MS oe 

ara 其 中 l<t<m, telis aMis aah 接 下 来 ， 我 们 取 任 意 一 对 值 1< St, <m 使 得 {4 ， 

te} (tins wry i,} =Ø. 那么 人 全 和 Ain En 如) 包含 不 相交 的 集合 Cling Sa edh 

Ciiis bodhi i Aste Zaz} 以 及 Ci dod" i) bate e 对 于 它们 中 的 任何 一 个 ， Gi, ssi, Ene 
ze kR=1,2, RAM FRM EMRE 


JECC 45,421 








Gr Tar tee) | ga | 207 = CUr 9 FS si sÉ sta.) A 
攻克 《人 信人 和 35 (2. 4. 24) 
同样 适用 。 


有 |”。 | 人 人 并 且 它们 仍然 互相 以 及 与 以 前 的 集合 不 相交 。 集 合 (2. 4. 24) 进 一 
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步 组 成 了 一 群集 合 S. 口 


同 理 ， 集 合 S 的 一 般 形式 是 
CGS DY Vet inr 


它 与 集合 理论 上 的 差分 相同 
COs a tp cote) 
Le we Ah (Crer eA oe 244) | (2. 4. 25) 
Bove sty bE LL se sty} 


这 里 每 一 个 这 样 的 集合 都 被 集合 Ci, +, RE, 其 中 OSs<m—r, i<et, 以 及 
{ts 7s tts os ii =Ø. [在 (2. 4. 25) 中 的 并 集 Ue cir, ue.) EAM RA ts 证 RE 
tS CPR ADF SE thy ey te}, HP << AR s'=0, +, 一 1G 一 0 给 出 了 一 全 
空子 集 )], 集合 CGi ，…，1i,) 的 数量 等 于 2" “， 并 且 它 们 中 的 每 一 个 通过 构造 以 后 都 有 2 
下 元 素 。 

定理 2. 4. 16 为 Reed-Muller 编码 所 谓 的 大 数 判决 译 码 提供 了 一 个 基本 原理 。 即 依靠 
一 个 自 码 字 x^E 和 rn 的 接收 编码 ?三 Cy%，…，yx-i)， 我 们 取 任 意 的 Li 之 …<i,<m 并 
考虑 在 土 述 的 2" “个 集合 S EIRA y. 如 果 yE&nm， 所 有 这 些 和 都 是 相同 的 并 得 到 


a,i o 如 果 y( 即 Hamming 距离 6(x^，y) 中 的 错误 数 二 2””! =d(Lrm)/2, MAKE 
数 的 和 将 仍然 给 出 一 个 正确 的 a; ,….; ， 最 糟糕 的 情况 是 每 一 个 集合 S 不 包含 或 者 只 包含 一 
个 错误 )。 通 过 改变 位 ，…，i,}， 我 们 将 确定 只 包含 7 阶 单项 式 的 码 字 x EXimo HER 
xzA 一 xz 将 成 为 Yin 中 的 一 个 码 字 。 

接着 y 会 被 减少 为 了 一 zx 。 和 xz 一 x2 相 比 ， 减 少 的 码 字 y 一 xz KA Ox" —x™, 
yix, y) PRR, 它们 二 2"” 7 =d( Heim) /2,. RINE S LWW RIK 
于 任意 Kh 过 …<i1<m 来 说 正确 的 a .…,_1。 最 后 ,我 们 恢复 整个 信息 符号 a; oi, 。 

因此 ， 对 于 任何 距离 为 6(y， Bom =d(Lrm)/2 的 码 字 yE 6N,s 都 能 被 唯一 译 码 。 


pe 正确 ， 插入 ， 重 定 义 ， 
Eka 变 小 ， 在 字 行 间 插 入 。 
Jonathan Swift(1667—1745), Anglo-Irish 作家 


Reed-Muller 编码 在 20 世纪 50 年 代 由 David Muller(1924—2008) 首次 研究 得 出 ; Ir- 
win Reed(1923 一 2012) 提 出 了 上 面 的 解码 步骤 。 在 20 世纪 70 年 代 早期 ，RM 编码 被 太空 
飞船 用 来 传递 来 自 太空 的 图 片 。 传 输 的 质量 在 那个 时 候 被 认为 是 非常 好 的 。 然 而 ， 接 下 
HK, NASA 工程 师 决定 在 拍摄 木星 和 水 星 时 用 Golay 编码 。 
举例 2.4.17 最 大 距离 可 分 (MDS) 编码 在 早 前 定义 为 g 进 制 线性 LN, 有，dqd] 码 ， 其 中 
d=N—k-+1 (Singleton RFA, WX 2.1.13), 

(a) AQ MDS, SARS 

G) 它 的 奇偶 校 验 和 矩阵 的 任意 N 一 k 列 都 是 线性 独立 的 。 
GD 百 中 存在 N 一 上 十 1 列 是 线性 相关 的 。 

(b) 证 明 一 个 MDS 的 对 偶 码 是 MDS， 并 推出 多 是 MDS 当 且 仅 当 它 的 生成 矩阵 G 的 
任意 列 都 是 线性 无 关 的 ， 并 且 尼 是 最 大 这 个 数 。 

Cc) 因此 证 明 当 G 被 写 入 标准 形式 (I GO PH, MAZZ MDS 当 且 仅 当 G' 的 任意 正 
IGF HEE AB AE HH 

(d) RG, DEN, k, dJMBLRX MDS 当 且 仅 当 对 于 任意 d 个 位 置 ISI << 


210 


138 2# 


z 委 和 六， 存在 一 个 在 数字 五 ，…i PRASRKHRAd HBF. 
解答 (a) MDSLN, &， 中 编码 有 d=N—k4+1, MRREBLA dQD=d, EMAAR 
验 矩 阵 吾 的 任意 (&Z 一 1) 列 都 是 线性 独立 的 ，(d 一 1) 是 具有 这 个 性 质 的 最 大 数 ， 反 之 亦 然 。 
所 以 ， 任 意 CN 一 马列 是 行 线性 独立 的 ，(CN 一 妃 是 最 大 的 这 种 数 ， 反 之 亦 然 。 相 当 于 H H 
任意 (N 一 &) X (N—k) FBT HY. 

(b) 令 儿 是 关于 奇偶 校 验 矩 阵 HMLIN, k, dIMDS R. WA HEZ KERER. 
H {ER (N—2) X (CN 一 名 子 和 矩阵 是 可 逆 的 。 那 么 ， 互 5 行 的 任意 非 平 凡 组 合 有 科 N 一 & 一 1 
MERER, MMSA+1, BDMBRSFe+1. MU dBW )=k+1=N—(N—-!&) +1. 
由 于 4 是 LN，N 一 车 码 ， 所 以 它 就 是 MDS, 

那么 ， 很 明显 ，[N, k EKE MDS, ENH k ERKA I 使 得 它 的 生成 矩阵 G 的 
{ER 1 列 都 是 线性 独立 的 。 等 效 于 多 在 任意 & 个 位 置 上 是 系统 的 。 

(c) 再 一 次 ， 令 和 为 LN，&， 呈 MDS E, WA G= |G). WCO 的 一 个 (XA 子 和 矩 
阵 G,。 通 过 使 用 行 和 列 的 排列 组 合 。 我 们 假设 G, 占据 了 G 的 最 左上 角 。 那 么 考虑 五 的 后 
kW IMAA G, G 的 x 列 ， 相 对 应 的 &XR& 矩阵 是 非 奇异 的 ， 并 且 组 成 了 一 个 &X& 的 
TEE Gi 。 

0 pA 


并 满足 
detG =+ det G,det I, =+ det G, Æ 0, 由 (b) 
所 以 ，G, 是 非 奇 异 的 。 逆 问题 的 证 明 是 相似 的 。 


(d) 最 后 ， 选择 d=N—k-+1 个 数字 ， BM ayy ee igo 考虑 i, ALF TF AY AF fry ess 
Jai BBA ty 98 Gia. o*%5 ji 是 信息 符号 。 所 以 存在 有 非 零 数字 i; Al ji» ‘teas jen HEW 
码 字 x。 那么 ， x 一 定 有 着 非 零 数 i1， sens Ec 


道 问题 ， 考虑 一 个 (N 一 d 十 1) XN 的 矩阵 
G = [7 | Eww-atnxca—1» J 
其 中 及 -x+ 是 一 个 单位 矩阵 ， 五 是 一 个 具有 全 1 元 素 的 (N 一 d 十 1)X (d 一 1) 和 矩阵 (单位 是 
)。G 的 行 是 线性 独立 的 ， 权 重 为 4d。 对 于 任意 一 行 ， 在 同样 的 位 置 ， 存 在 一 个 有 着 非 零 
KHB EXGH, 可能， 在 别处 )。 那 么 ， 码 字 的 秩 & 宇 N 一 4 十 1， 因 此 , k= 二 NN 一 
dEl. 口 
举例 2. 4. 18 MDS 编码 [LN，N，1I]，LN，1，N] 以 及 [LN，N 一 1，2] 总 是 存在 并 称 为 是 
平凡 的 。 任 何 2<k<N—2 的 [LN，k]MDS 码 被 称 为 是 非 平凡 的 。 证 明 不 存在 满足 g 才 k 声 
N—q 的 了 ,上 的 非 平 凡 MDS 码 。 特 别 是 ， 不 存在 非 平 凡 二 进 制 MDS 码 (这 造成 了 人 们 对 
二 进 制 MDS 码 缺 乏 明显 的 热情 )。 
解答 BEE, [N, N, 1i; CN, N-1, 2] 和 [LN， l, NNJ 码 都 是 MDS, 取 g 委 & 和 一 
4， 假设 光 是 一 个 g 进 制 的 MDS。 在 标准 形式 (I |G) PRA MEE G, HG ERX 
(N—k), N—k>q. 

如 果 G 中 某 一 列 的 一 些 元 素 是 零 ， 而 且 这 列 是 工 -: 的 & 一 1 列 的 线性 组 合 。 这 在 以 前 
的 例子 (b) 中 是 不 可 能 的 ; 因此 G 有 非 0 元 素 。 接 下 来 假设 G 的 第 一 行 是 1…1:， 否则 我 们 
能 执行 列 的 标量 乘 ， 同 时 保持 这 些 编码 的 等 价 性 。 

现在 取出 G 的 第 二 行 : 它 的 长 度 是 N 一 上 9g， 没 有 0 元素。 那么 重复 此 过 程 ， 即 ， 
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a a | ,a#Ż0 








然后 选取 码 字 
z= 4 1-—a'!(@ 2) 

ECA w(x) N—-k—-2+2=N-—k, FF AMAA FE MDS, 

iE A A eS, FEE k>a 的 非 平凡 d 进 制 MDS 码 。 因 此 ， 非 平凡 
MDS 码 可 能 只 有 

N-qt+l<kRk<=q-1 

即 不 存在 非 平 凡 二 进 制 MDS 码 ,但 存在 一 个 非 平 凡 的 [3，2，2] 三 元 MDS 码 。 口 
备注 2.4.19 给 定 上 和 g， 对 于 一 个 gq 进 制 的 MDSLN, kE, REN 的 最 大 值 是 一 件 有 
趣 的 工作 。 我 们 证 明 ，N 必须 全 qk 十 q 一 1， 但 计算 的 证 据 显 示 这 个 值 是 gq 十 1。 


2.5 循环 码 和 代数 多 项 式 ，BCH 码 简 介 


一 类 有 用 的 线性 码 由 所 请 的 循环 码 组 成 (特别 是 Hamming 码 、Golay 码 和 Reed-Mull- 
er 码 等 都 是 循环 码 ) 。 循 环 码 是 由 Eugene Prange 在 1957 年 提出 的 ， 它 的 重要 性 立刻 得 到 
认识 ， 而 且 产 出 了 大 量 的 文献 。 但 更 重要 的 是 ， 循 环 码 的 思想 和 在 20 世纪 50 年 代 后 期 形 
成 的 一 些 其 他 的 敏锐 观察 一 起 ， 特 别 是 BCH 码 的 发 明 ， 开 启 了 从 线性 编码 理论 ( 那 时 是 初 
始 阶 段 ) 到 代数 的 连接 ， 特 别 是 有 限 域 理论 。 这 创造 了 代数 编码 理论 ， 一 个 在 现代 线性 编 
码 理论 中 非常 有 前 景 的 方向 。 
我 们 首先 从 二 进 制 循环 码 开 始 。 对 于 长 度 为 N 的 二 进 制 循 环 码 的 编 解 码 步 又 是 基于 
与 二 进 制 系数 多 项 式 有 关 的 代数 : 
a(X) 一 ao 十 由 X 十 … 十 aNXNTI， 
Ha, E€ Fok =0,",N—1 (2. 9 ID 
这 种 多 项 式 除 了 X HX =0 之 外 能 以 通常 方式 进行 相 加 和 相 乘 。 这 定义 了 一 个 二 进 制 多 
MARAE LX]; 这 种 在 二 进 制 多 项 式 进 行 的 运算 适用 于 这 种 代数 。 多 项 式 a(X) 的 次 数 
deg a(X) 等 于 它 非 零 系 数 的 最 大 标号 。 零 多 项 式 的 次 数 被 设 定 为 0。 因此 ， 式 (2. 5.1) 的 
表示 包含 次 数 二 NN 的 多 项 式 。 
定理 2.5.1 (a) (1 +X)” =1+X” (Freshman’s Dream), 
b) (分 割 算法 ) 令 (XY) FA KYAAFAMMSRA, HEX h. MARAE 
一 的 多 项 式 g(X) Fe r(X), HH 
f(X) = g(X)h(X)+r(X), 其 中 deg r(X) < deg h(X) (2. 5. 2) 
多 项 式 g XOMAACERH BH, (YORK, 
证 明 (a) 证 明 过 程 服 从 二 项 式 分 解 ， 其 中 所 有 的 交叉 项 消失 。 
(b) 如 果 deg h(X)>deg f(X)， 我 们 简单 设置 
F(X) =0+h(X) + f(X) 
如 果 deg h(X)<deg F(X), 我们 可 以 执行 长 除法 的 “标准 ” 步 双 ,满足 二 进 制 加 法 和 乘 
法 的 规则 。 回 
例子 2. 5. 2 对 于 二 进 制 多 项 式 : 
(a) A+ X+X*+X')(X+X°+X3)=X+X’ 
(b) 14+ X*=(14+X)A+X++X*") 








214 











215 
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Cc) PECK AK EEX +X AX /Ot K+ FXX HX =X +X, RH X+ 
X+’. 
定义 2.5.3 两 个 多 项 式 ， 方 (X) 和 户 (X)， 如 果 它 们 的 余数 在 被 h(X) 除 后 相同 ， 则 称 为 
等 效 模 h(X) 或 者 ff (X) =f. XB ACK), B 
Fi C= BOON 于 大 (二 六 t= 1,2 
并 且 deg r(X)<deg A(X). 
定理 2.5.4 多 项 式 的 加 法 和 来 法 遵守 等 效 性 。 即 如 果 
CX 全 三 (2. 5. 3) 
那么 
fi CX) + py CX) = fr CX) + pr CX) mod h(X) 
fi CX) p(X) = fa (X) pp (X) mod ACX) 
证 明 MFi=1, 2, RNA 
fi CX) = g;(X)A(X) +r X), p(X) = g:(X)ACX) + sX) 


(2. 5. 4) 


满足 
deg r(X), deg s(X) < deg h(X) 
因此 
F/O) + p(X) = (eX) + gi OODACY) (r(X) 十 SCXD)) 
满足 
deg(r(X) +s(X)) < max[r(X) ,s(X)] < deg A(X) 
因此 


Fi CX) + pi CX) = f(X) + po CX) mod h(X) 
另外 ， HF i= ls 2, 乘积 f, OO p, OO RAHA 
(g:(X)q; Khl) + r(X) qi (X) + s(X) gi, XO) ACK) + CX) s(X) 
因此 ， 两 个 多 项 式 A, OX) p OO A fe OO po OO WAR BAT RE DUK AF ~(X)s(CX)。 因 此 ， 
对 于 它们 都 是 相同 的 。 口 

注意 到 每 个 线性 二 进 制 编码 NW 对 应 一 个 多 项 式 集合 ， 它 们 的 系数 是 0，1， 次 数 是 

N 一 1， 对 于 模 2 加 运算 是 封闭 的 。 

a(X) = ag ta, X +e + ayy X te a™ = dmavi 

bCX) = by +b, X + ++: + bn XNte p = bo +t byi 

al X) 十 页) 和 人 +b™ = Cay +H bi)" Caya + by) CARED 
(在 一 个 长 度 为 N 的 码 字 中 ， 数 字 的 编号 用 的 是 0，…，N 一 1 而 不 是 1，…，N， 这 样 会 
更 方便 一 些 ,) 

HFa =a ani ti, 我 们 有 意 写 为 a(X)E 线 ， 它 表示 属于 码 字 必 的 多 项 
RAX) 
定义 2.5.5 给 定 一 个 二 进 制 码 字 a 二 aoa…an-1， 我 们 定义 循环 移 位 xa 是 一 个 码 字 ania 
an-s。 如 果 每 一 个 码 字 循环 移 位 后 仍然 是 同一 个 码 字 ， 那 么 这 个 二 进 制 码 必 就 被 称 为 循 
环 码 。 

一 个 “直接 ”形成 循环 码 的 方法 如 下 : 取 一 个 码 字 a， 那么 它 的 后 向 循环 移 位 是 ra， 
ra 等 。 最 后 获得 这 些 向 量 的 所 有 和 。 这 样 的 一 个 构造 允许 我 们 从 单独 的 一 个 码 字 中 构建 
一 个 码 字 ， 最 终 这 个 码 字 的 整个 特性 可 以 从 码 字 a 的 特性 中 推断 出 来 。 结 果 显 示 ， 每 一 个 
循环 码 都 可 能 以 这 种 方式 获得 ， 相 应 的 码 字 被 称 为 循环 码 的 生成 子 。 
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引 理 2.5.6 一 个 二 进 制 线性 码 儿 是 循环 码 ， 当 且 仅 当 对 任何 一 个 来 自 儿 的 基 的 向 量 u， 
A mez. 
证 明 在 属 中 的 每 一 个 码 字 都 是 基 向 量 的 和 ,但 是 (uty) =cut. AGE. 口 

循环 移 位 的 一 个 有 用 特性 在 下 面 确 立 。 
引 理 2.5.7 如 果 码 字 a 对 应 一 个 多 项 式 CC(X)， 那 么 码 字 ra 对 应 Xal XAH), 
证 明 关系 

Xa (X) = ay X +a, X? +s fay. X Hana X” 
= ayi tay X+ a, X? + +> fay. X mod(1 +X") 
意味 着 对 应 于 ra 的 多 项 式 
an-ı 十 ao + Haya XN 

等 于 Xa(X)mod(1 十 XN)。 a 

相似 的 证 明 意 味 着 码 字 val M Xza(CX)mod(1 十 XN)， 等 等 。 更 一 般 地 ， 我 们 有 以 
下 结论 。 
例子 2.5.8 逆 循 环 移 位 x; Qo ***an—-2An-1 € (0, 1}%—ajyaz*"ay—1o 作用 于 次 数 至 少 为 
NN 一 1 的 多 项 式 a(X) 上 可 表达 为 


TROO = sax) el tex 


定理 2.5.9 对 于 每 一 对 多 项 式 CC(X) 和 BCX)， 一 个 二 进 制 循环 码 包 含 aX) +0(X) HE 
何 一 个 多 项 式 v(X)a(X)mod(1+X*%), 
证 明 MAE. Mal X)+b DEX. MR vl XY =wytuyXtert+oy_ AX, We 
一 个 多 项 式 Xia(X)mod(1 十 XN) 对 应 于 ria, AIRF. Aw 
v(X)a(X)mod(1 十 XN) = Siv X'a (Xmod + X“) 
LHS B¥FZ. 口 
换 句 话说 ， 次 数 至 少 为 N 一 1 并 满足 x -乘法 的 二 进 制 多 项 式 被 定义 为 

axb(X) = a(X)b(X)mod(1 + X”) (2:5, 63) 
和 通常 的 FE 多 -加 法 ， 构 成 了 交换 环 ， 用 ELXj]/(1 十 X*) 表 示 。 二 进 制 循 环 码 恰恰 是 这 种 
环 的 理想 状态 。 


N-k 
定理 2.5. 10 4 g(X) = ZX 是 一 个 在 二 进 制 循环 码 儿 中 最 小 次 数 的 非 零 多 项 


式 。 那 么 : 

G) g(X) 是 唯一 最 小 次 数 的 多 项 式 。 

Gi) BBW Axe k. 

(iii) 对 应 g(X), Xela), =, XP ge KMD, ARIAL PHR; 它们 是 码 字 
g= gor gn—-.0°0 的 循环 移 位 。 

(iv) CCX)E4 当 且 仅 当 对 于 一 些 次 数 一 & HH SRMAX V(X) A a(X) = V(X) g(X) (Hp 
g(X) 是 来 自 儿 的 每 一 个 多 项 式 的 除数 ) 。 


N—k 


证 明 G) 假设 c(X) = Lei 是 在 允 中 最 小 次 数 为 一 上 的 另 一 个 多 项 式 。 那 么 gw 一 


cnt 二 1 ， 因 而 ，deg(c(X) 十 gC(X)) 二 N 一 &k。 但 是 因为 N 一 & 是 最 小 次 数 ，c(CX) 十 5(X) 应 
该 等 于 0。 当 且 仅 当 g(X)= 二 c(X)， 这 种 情况 才 会 发 生 。 因 此 g(X) 是 唯一 的 。 


216 


217 


218| 


142 种 2 章 


GD 可 以 由 GiD 推 出。 
GD 假设 性 质 (iv) 成 立 。 那 么 每 一 个 多 项 式 aX) CAA MP IB 


CC 
i=1 


因此 ， 每 个 多 项 式 a(X) CHRBEMHR g(X),. Xg(X), =, X'g(XY) (SRRFQRH—* 
线性 组 合 。 另 一 方面 ， 多 项 式 g(z) ，Xg(X)，…，Xe LIg(X) 是 不 同 次 数 的 ， 因 此 是 线性 无 
关 的 。 所 以 对 应 eX), Xg(X), s XT GOOMMS g g, s t g ERTE. 
Civ) 我 们 知道 每 个 多 项 式 a XC RWUKM>dege(X). MERE. 
a(X) = v(X)g(X) +r(X) 
在 这 里 ， 我 们 一 定 有 
deg v(X) <k H degr(X) < deg g(X) 一 太一 
但 是 ， 由 于 定理 2.5.9 (AW vi XY) ge OWKMIN—-1, ES v(X)g(X) mod(1+ X™) 
同 )， 因 此 vCX)g(CX) 属 于 多 。 所 以 ， 通 过 线性 特性 可 得 出 
r(X) =a(X) +(X) gR E X 
由 于 g(X) 是 多 中 最 小 次 数 的 唯一 的 多 项 式 ， 所 以 ~(X) 王 0。 口 
推论 2.5. 11 通过 循环 移 位 和 线性 组 合 ， 每 一 个 二 进 制 循环 码 从 对 应 于 最 小 次 数 的 多 项 式 
的 码 字 中 获得 。 
定义 2.5. 12 在 多 中 最 小 次 数 多 项 式 g(X) 被 称 为 二 进 制 代码 最 小 次 数 生 成 子 ， 或 者 简称 
为 多 生 成 子 。 
备注 2.5. 13 根据 推论 2.5. 11 可 知 ， 可 能 还 有 其 他 生成 多 的 多 项 式 。 但 是 最 小 次 数 多 项 
式 是 唯一 的 。 
定理 2.5. 14 一 个 次 数 小 于 等 于 N 一 1 的 多 项 式 g8(X) 是 一 个 长 度 为 N 的 二 进 制 循环 码 的 生 
BF, SARS g(X) 可 整除 1 十 XV 。 也 就 是 : 对 某 些 多 项 式 A(X) HS (KK N 一 deg g(X)) 
1+ Xv = h(X)g(X) (2.5.7) 
证 明 〈 仅 当 且 部 分 ) 根 据 除 法 
1 十 XN = A(X)g(X) +r(X) 
其 中 
deg r(X) < deg g(X) 
即 
r(X) = hACX)g(X) 十 1 十 XN， 即 r(X) = hCX)g(X)mod(1 +X”) 
根据 定理 2. 5. 10，zr(X) 属 于 由 &(CX) 生 成 的 循环 码 .& 。 但 是 g(X) 一 定 是 中 最 小 次 
数 的 唯一 的 多 项 式 。 所 以 , r(X)==0 H14+XX=h(X)g(X). oO 
( 当 且 部 分 ) 假 设 1 十 X"=h(X)g(X)，deg h(X)=N—deg g(X)。 考 虑 集合 {a(X): 
a(X)=u(X)g(X)mod(1+ X)}, BIXEE g(X) 的 * -乘法 多 项 式 环 中 的 主 理想 。 这 个 集 


合 形成 了 一 个 线性 编码 ; 它 包 含 g(X)，Xg(X)，…，X* !'g(X)， 其 中 有 = 二 deg h(X)。 我 
kzl 

们 足以 证 明 Xeg(X) 同 样 也 属于 这 个 集合 。 但 是 Xg (XD =1+X"+ DhX’g(X) ， 即 

Xetg(X) 与 5CX)，XEg(CX)，…，Xe 8g(X) 的 线性 组 合 是 等 价 的 。 


推论 2.5. 15 所 有 长 度 为 N 的 二 进 制 循环 码 与 多 项 式 1 十 XX" 的 除数 是 一 一 对 应 的 。 
因此 ， 循 环 码 用 多 项 式 1 十 X 的 因 式 分 解 来 描述 它 。 更 准确 地 来 说 ， 我 们 对 1 十 X” 分 解 
为 不 可 约 因子 更 感 兴趣 将 这 些 因 子 组 合成 乘积 ， 从 而 产生 长 度 为 N 的 所 有 可 能 的 循环 码 。 
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定义 2.5. 16 如果 a(X) 不 能 被 写作 两 个 多 项 式 5(X) 和 5(X) 的 乘积 ， 则 多 项 式 a(X)= 
ao 十 aiX 十 … 十 axw_iXN 1 被 称 为 不 可 约 ， 其 中 min[ deg(b)(X), deg b(X)] 宇 1。 
描述 循环 码 的 不 可 约 多 项 式 的 重要 性 (方便 性 ) 是 显而易见 的 : KEA N 的 每 一 个 循 
环 码 生成 多 项 式 都 是 不 可 约 因 子 1 十 X" 的 乘积 。 
例子 2.5. 17 (a) 多 项 式 1 十 XN 有 两 个 “标准 ”的 除数 : 
1+ X*=(14+X0+X+-+-4+ X"") 
第 一 个 因子 1 十 XX 生成 二 进 制 奇偶 校 验 码 人 BN 二 {x 二 Torn_1: 2zx:=0}。 然而 多 项 式 ia, 
X 十 …X”( 它 可 能 是 可 约 的 ) 生 成 重复 编码 多 一 (00，…0，11…1)}。 
(b) 在 字典 形式 中 ， 选 择 Hamming[7，4] 码 的 生成 和 校 验 矩阵 。 如 果 我 们 重新 排序 数字 
ZzT5ZT3ZT2x6T1( 这 会 产生 一 个 等 价 编 码 )， 那 么 生成 矩阵 的 行 变 成 其 他 行 的 后 向 循环 移 位 。 
1101000 
ot = 0110100 
0011010 
0001101 
最 后 一 行 的 循环 移 位 也 在 码 中 : 
x(0001101)= (1000110) 
= (1101000) + (0110100) + (0011010) 
根据 引 理 2. 5. 6， 码 是 循环 的 。 根 据 定理 2.5. 10(iii) 可 知 ，g(X) 的 生成 多 项 式 对 应 于 矩阵 
Gu 的 下 划 线 部 分 : 
1101 ~ g(X) == 1 十 XX 十 X? 一 生成 的 多 项 式 
但 我 们 可 以 用 一 个 类 似 的 命题 去 说 明 一 个 等 效 的 循环 码 可 以 从 码 字 1011 一 1 十 X2 十 Xs 获 
得 。 这 并 不 矛盾 ， 它 并 不 说 明 一 个 循环 码 的 多 项 式 理 想 是 一 个 唯一 元 素 的 主 理想 。 
如 果 我 们 改变 奇偶 校 验 矩 阵 中 列 的 顺序 ， 这 个 码 等 效 于 原来 的 码 ; 也 就 是 说 ， 生 成 矩 
MA 1 十 X’ 十 Xi 的 码 也 是 Hamming[7, 4] 码 。 
在 问题 2. 3 中 我 们 会 验证 Golay[23, 7] 码 由 多 项 式 g(X) 王 1 十 X 十 X5s +X +X + 
X +X" ER. 
举例 2. 5. 18 利用 在 了 杷 [X] 上 的 因 式 分 解 
X7 十 1 王 (X 十 1)(CX3 十 和 十 1)CX2 +X +1) (2. 5. 8) 
找到 所 有 长 度 为 7 的 循环 二 进 制 码 。 找 出 其 中 的 Hamming 码 和 它们 的 对 偶 。 
解答 WER. 
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用 上 的 生成 多 项 式 
1+X? 





(03 1}? 





Parity-check r+% x’ 

0<i<6 
Hamming I 二 DC 
Hamming LT Ts 
Dual Hamming 1 十 X2 十 X2 十 和 4 ed, Geb, te 
Dual Hamming IFITTEX 1+X?+xX3 
二 axe iF 





oxi<e 
tax 





zero 


1 





很 容易 验证 式 (2. 5. 8) 中 的 所 有 因子 都 是 不 可 约 的 。 任 何不 可 约 的 因子 都 有 可 能 包含 或 
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者 不 包含 在 生成 多 项 式 的 分 解 中 。 这 一 命题 证 明了 在 .和 6;.; 中 正好 存在 如 表 中 所 示 的 8 个 二 进 
制 码 。 
例子 2.5.19 (a) 一 次 多 项 式 1 十 X 和 X BAW AA CB 六 并 不 出 现在 1 十 XN 的 分 解 中 ) 。 
存在 一 个 不 可 约 的 二 次 二 进 制 多 项 式 : 1 十 XX 十 X*， 两 个 三 次 式 : 1 十 XX 十 X 和 1 十 XX 十 
X*， 和 三 个 四 次 式 : 
1+X4+X',14+X9+X' 和 1+X+X +X +X (2.5.9) 
它们 每 个 都 出 现在 对 于 不 同 N 值 的 1 十 X* 的 分 解 中 ( 见 下 面 )。 更 大 的 区 别 是 多 项 式 1 十 
X+X? 和 1 十 X: 十 X’ 是 “本 原 ” 的 , 但 1 十 X? 十 X: 十 X' RE; 见 下 面 的 例子 2. 5. 34 和 
3.1~3.3 9. 另 三 方面 ， 多 项 式 
1+ X°,1+X*+ X§4+X'4+X%) fe 1+X?4+ X84 x3 (2. 5. 10) 
是 可 约 的 。 多 项 式 1 十 X* 总 是 可 约 : 
1 十 XN 一 (1 十 X)G 十 X 十 … 十 XN-) 
(b) 一 般 来 说 ， 将 多 项 式 1 十 X” 因 式 分 解 为 不 可 约 因 子 并 不 是 很 容易 。 在 N 的 头 13 
个 奇数 值 中 ， 可 以 简单 分 解 成 两 个 不 可 约 因子 的 多 项 式 1 十 XN 如 下 所 示 : 
1+ Xy14-X* Kl FX" 14x 
此 外 ， 多 项 式 1+ X" wy VY fay BA He oh A I+ XD C1 +X+++X"), HAMA RAC! 
略 共同 因子 (1 十 X) ): 
TEX KFX X40 4+ X*4 XxX), 
1+X°,;1+X+X7)04+X3+4 X*), 
1+X*®,a1+X4+ X72) 4+ X4 X*) 
xX U+ X94 X41 +X+ X*? +XK*+ X*), 
TFX: OH + X4+ AX) 
X(1 十 X 十 X2 十 Xi 十 Xe 十 X7 十 Xs)， 
1+ X7,d+X4+X2)04+X+X*)(1 +X? HX) 
x (+ X4+ X*?4+ X*4+ X9)(1+ HHX X 4 X*), 
1+ X*.(1+X4 X°4+ X§+ X74 X94 X") 
XAK HX AX + X*§4+ KX" + XY) 
1+ X*.d1+X+ X HX FX NOH +X" 4+ X" 4 xX) 
对 于 N 是 偶数 的 情况 ，1 十 X* 可 能 有 多 个 根 ( 见 例子 2. 5. 35(c) ) 。 
例子 2.5.20 在 域 思 上 (也 就 是 来 自 马 [Xj]) 的 二 次 和 三 次 不 可 约 多 项 式 如 下 。 有 三 个 在 到 
上 的 二 次 不 可 约 多 项 式 ; X?+1, X*+X4+2 和 2 和 十 2X 十 2. 。 存 在 八 个 在 上 的 三 次 不 
可 约 多 项 式 : XH2X+2, X+HX +2, X HX HX+2, X H2X?+2X+2, X’ +2X+ 
1, X HX’ +2X+2, X’ +X +1 和 X3s 十 2X2 十 X 十 1。 
循环 码 允许 以 多 项 式 的 方式 进行 编码 和 人 解码。 这 样 很 方便 就 能 得 到 一 个 循环 码 必 的 生 
成 矩阵 ， 形 式 与 HammingL7，4] 码 的 Gss 类 似 ( 见 上 面 )。 也 就 是 说 ,我 们 想 要 在 局 找到 
能 给 形式 如 下 的 对 应 生成 矩阵 的 基 : 


Gaya a (2. sel 


==] 
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定理 2.5. 10(iii) 提 供 了 这 样 一 个 基 : 选取 生成 多 项 式 g(X) 和 它 的 乘积 : 
p(X Xg CX). (NX deg g(X) = N—k 
用 符号 写成 
g(X) 
Gael (2.5. 12) 
KOT BEX) 
这 个 码 的 秩 为 &， 可 以 像 下 面 这 样 解码 长 度 为 下 的 码 字 。 给 定 一 个 码 字 a 二 ao…ai_1， 产 生 
多 项 式 a(X) = J aX 并 取 乘 积 <(X)g(CX)。 根 据 定理 2. 5. 9 可 知 它 属 于 多 ， 所 以 定义 


O<i<k 


了 一 个 码 字 。 因 此 我 们 只 需要 存储 多 项 式 gX): 编码 对 应 于 多 项 式 相 乘 。 如 果 编 码 由 乘 
积 给 出 ， 那 么 解码 一 定 与 除法 相关 。 回 想 在 几何 译 码 器 的 情况 下 ， 我 们 通过 Hamming HE 
离 最 近 的 码 字 来 解码 收 到 的 码 字 。 这 样 一 个 码 字 与 对 应 陪 集 的 引导 段 有 关 : 我 们 已 经 看 到 
陪 集 与 形 如 yH" 的 伴随 码 字 有 一 一 对 应 的 关系 。 在 循环 码 的 情况 中 ， 伴 随 码 字 可 以 很 直 
接地 被 计算 。 回 想 一 下 ， 如 果 g(CX) 是 一 个 循环 码 儿 的 生成 多 项 式 ， 并 且 deg g(x) =N— 
ky 那么 和 的 秩 为 &， 必 然 有 2“ 个 不 同 的 陪 集 ( 见 定理 2. 5. 10(v) ) 。 

定理 2.5.21 BH y+ Re RFHX y(X)=ulX)mod g(X) 一 一 对 应 。 即 两 个 码 字 y, yA 
于 同一 个 陪 集 ， 当 且 仅 当 在 除法 表示 中 ， 

y(X) = a(X)g(X) TT WRI y'(X) =a (X)g(X) Fu (X), A ul(X) = ul (X) 
证 明 了 和 ?属于 同一 陪 集合 当 且 仅 当 yty CL. REMF u(X)+u'(2)=0, he 
理 2. 5. 14 可 知 u(X)=u' (X). 口 

因此 ， 陪 集 可 以 用 deg u(X) 二 deg g(CX) 王 N 一 上 的 多 项 式 x(CX) 标 记 : 这 样 就 恰好 就 
有 2> 个 这 样 的 多 项 式 。 为 了 确定 陪 集 ?十 光  ， 只 需 计 算 余 子 式 u(X)=y(X)mod g(X) 。 
遗憾 的 是 ， 我 们 还 有 一 个 任务 ， 就 是 在 每 个 情况 下 找到 一 个 引导 段 ， 对 于 一 般 的 循环 码 还 
没有 简单 的 算法 用 来 找到 引导 段 。 然 而 ， 有 一 些 已 知 的 特定 类 型 的 循环 码 ， 它 们 采用 一 种 
相对 简单 的 解码 ， 第 一 种 这 样 的 类 型 发 现 于 1959 年 ， 由 BCH 码 组 成 ( 见 2. 6 节 ) 

像 之 前 观察 的 那样 ， 一 个 循环 码 不 仅 可 以 通过 它 的 最 小 次 数 的 多 项 式 产 生 。 为 了 某 些 
目的 ， 拥 有 这 种 性 质 的 其 他 多 项 式 可 能 也 会 有 用 。 不 管 怎样 ， 它 们 都 是 1 十 Xx 的 除 式 。 
定理 2.5.22 令 儿 是 长 度 为 N 的 二 进 制 循环 码 ， 那 么 任何 使 得 必 是 g(X) 的 主 理想 的 多 
项 式 g(X) 是 1 十 XN 的 除 式 。 

证 明 代数 中 的 一 个 练习 。 口 

我 们 看 到 循环 码 自然 而 然 被 它们 的 生成 多 项 式 标记 。 
定义 2.5.23 令 儿 是 由 g(CX) 产 生 的 长 度 为 N 的 二 进 制 循 环 码 。 必 的 校 验 多 项 式 h(X) 定 
义 为 比率 (1 十 XN)/g(X)。 即 h(X) 是 h(X)g(X)==1 十 X" 的 唯一 多 项 式 。 

我 们 用 标准 记 法 gcd(f(X)，g(X)) 来 表示 7CX) 和 8(CX) 的 最 大 公 倍 数 ，lcm(CFCX)， 
g(CX)) 表 示 它 们 的 最 小 公约 数 。 记 241 十 多 :为 两 个 线性 码 多 ii ， 有 EC 和 vs 的 直 和 。 即 
HAL. AMRES aa”? Haza” 构成 ， 其 中 a+ a=), I, a? CL: i=l, 2. 比较 
例子 2. 1. 8(Cvii) 。 
举例 2.5.24 AE 和 .&， 是 两 个 长 度 为 N 的 二 进 制 循环 码 ， 生 成 多 项 式 分 别 为 gX) 
pz(X) 。 证 明 : 

DKC, 当 且 仅 当 gz(X) 整 除 gi(CX)。 
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(b) AEK NK: 产生 一 个 直 lem(Cgi(CX)，gs(CX)) 生 成 的 循环 码 。 
(c) EPK 十 和 是 由 gcdCgi(CX)，gs(CX)) 生 成 的 一 个 循环 码 。 
解答 (a) RNA a OER, 当 且 仅 当 在 环 Fi[X1/(1 十 XN) 中 ， 多 项 式 a(X)= fx 
gi(X)， i 二 1，2。 假 设 g;(X) 能 整除 g OFER gl OO=r (XY g.(X), MAB Mf, x 
gi1(X) 的 每 一 个 多 项 式 a(X) 具 有 户 *rxgs(X) 的 形式 。 也 就 是 说 ， 如 果 a(CX)E2Y， 那 
ZBaXveEX,, MUG Cz. 
AAR Hh, BIRCH... S di AgiOOWKM, IKAN, i=1, 2, FHM 
aX = FRY: XO +rX), BH deg r(X) < ad, 
BTA ENERXIA HX) PARE gi (X) x -整除 的 多 项 式 同 样 也 能 被 gs (X) x -整除 。 
特别 地 ， 基 本 多 项 式 Xig1(X)，0 二 iN 一 di 一 1 都 能 被 g;(X) x -整除 ， 即 形式 为 
Xigi(X) = hP (X)g (X) ta: (X —1), 其 中 ;= 二 0 或 1 
如 果 对 于 某 个 i， 系数 a; 二 0， 那 么 我 们 比较 两 个 恒等式 
Xigi (X) = WR Na KN fe NY) 
并 得 出 结论 Xir(X)=0。 这 意味 着 r(X)==0， 因 此 gs(X) 能 整除 gX). 
剩 下 的 情况 就 是 所 有 的 系数 a =l, FÆRNI HEE 
Xe. (X) = XA (Xe, (KIFAA 
和 
Xg XY = h? (X)g.(X) +14 X% 
发 现 这 种 情况 不 可 能 。 | 
Cb) 这 一 部 分 很 简单 : 交集 42 OA, BZ 和 网， 的 子 码 。 很 显然 它 是 个 循环 码 ; A 
此 ， 由 (a) 可 知 ， 它 的 生成 多 项 式 gX) E gX) M op (CX) 整除。 所 以 它 能 被 
lem(gi1(X)，gs(X)) 整 除 。 我 们 必须 排除 经 过 这 次 相 除 g(CX) 产 生 非 平凡 比率 的 情况 。 但 
是 lcm(gi(X)，8g?(CX)) 本 身 就 是 一 个 包含 在 .2 MX, 中 的 循环 码 ( 跟 原始 码 长 度 一 样 ) 的 
生成 子 。 所 以 ， 当 g(X) 关 lem(gi1(X)，gs(X)) 时 ,由 lem(g1(X)，gz(X)) 生 成 的 码 必 然 
FERFE NK HIR NAZ: HELTE. 
(c) BMH, KTE: 是 包含 在 2 AZM, 中 的 最 小 线性 码 。 所 以 ， 它 的 生成 子 能 整 
除 gi1(X) 和 gz(X)， 即 为 它们 的 公 因 式 。 如 果 它 不 等 于 gcd(g1(X)，gs(X))， 那 么 它 与 上 
面 最 小 化 性 质 相 矛盾 。 
举例 2.5.25 令 避 为 长 度 为 N、 生 成 多 项 式 为 g( 匀 )、 校 验 多 项 式 为 h(X) 的 二 进 制 循环 
码 。 证明 a( 义 )E 履 当 且 仅 当 多 项 式 (1 十 XN) 能 整除 a(X)h(X)， 即 在 Fz[xj]/(1 十 XN) 中 ， 
axh(X)=0, 
解答 mRa XCEL, 那么 对 于 某 个 多 项 式 f(X)E 了 B[x]/(1 十 XN) 有 a(X)= 
F(X) g(X), MBA 
Oh O = fCX gC KACEY = FOO + X%) 
FEF,LX)/A+X™) SF 0. RH, + a(CXJE 可 [zl/ITXN) 并 且 假 设 a(X)hA(X) = 
Omod(1+X%), id a(X) = f(X) g(X) +r(X), HR deg r(X)<deg g(X). HA 
a(X)h(X) = fCX)A+ X%) + rCX)ACX) = r(X)hCX)mod(1 +X") 
Auk, RAH r(X)=0 tf, rCX)hCX)=0 mod(1+X”) AA AAR. BELL a(X) = f(X) g(X)3¢ 
HaxXye®, 
举例 2.5.26 证明 一 个 循环 码 的 对 偶 也 是 循环 的 ， 并 求 出 它 的 生成 矩阵 。 
解答 ”如 果 ye RQ”, BA, AMF AA xe PW IR ex + y)=0, Æl + y)= 
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(xe ny), Maye 2”, BRAX -也 是 循环 的 。 
A> g(X)=gotgi Xt e Hen X 为 多 的 生成 多 项 式 ， 其 中 N—-k=d 是 g(X) 的 次 
数 ，& EZR. RIAK KERERE G 可 以 写成 


g(X) =) 
Xg(X) 1 0 
G~ ; ~ SS (2.5.13) 
3 0 


k 
选取 hCX)=CA+X®)/g(X) FFI ACX) = $h; XI 和 hh 二 ho…hn_1。 那 么 


j=0 


- =]; OA 
Deh { 
j=0 =0, 1= i= N: 


实际 上 ， 对 于 i=0, N, 我 们 有 hogo=1 以 及 hig n ~ lo MF IS<N, 我 们 得 到 点 积 
(rig er ht)=0, j=0,1, N—>k—1, 7 =0,.…,k—1 
其 中 二 及 his_1…h。。 那 么 我 们 很 容易 看 出 给 出 了 履 HAMS Mt h(x), 
另 一 种 解法 是 基于 举例 2. 5. 25 的 。 我 们 知道 当 且 仅 当 a *h(X)==0 时 a(X)E2。 + 
为 E(X) 的 次 数 ， 那 么 h(X) 的 次 数 等 于 N 一 k。 次 数 degla(X)h(X)]<2N—k, FRY 
a(X)h(X) 中 XN“ ，…，X" 1! 的 系数 都 为 零 。 也 就 是 说 : 
aojN 十 QFII 十 … 十 CN = 0, 
aihn + azhn-ri +F e + anho = 0, 


QI 及 NA + ah nwa +e +H anah = 0 
换 旬 话说 ，aHT7 = 二 0， 其 中 a 二 a。，…，aw_1 是 a(X) 二 进 制 系数 的 码 字 ，H 是 一 个 (N 一 &) X 
N 的 矩阵 


Ss 
h+ (X) = 0 
Xh+ (X 
H 由 —— (2.5. 14) 
; 0 
K TRY (X) si 


其 中 hi(X)==XN 饭 (N-!)， 系 数 序列 ht =hyhy_y ho. 

我 们 得 出 结论 : EE HERTEL CK . 但 由 于 hw 二 1， 必 "的 秩 等 于 N 一 &:， 所 
以 Y = 

剩 下 就 是 验证 多 项 式 A XARRI HX., AE, RIA gCX)ACX) 王 1 十 XY 推出 
hX gX S= N+. BU ht (XK) X*g (X79) =14+X", 并且 由 于 Xig (X-!) 等 于 多 
MA gi 十 gt-1 义 十 … 十 goX*， 即 得 到 需要 的 结论 。 口 
举例 2. 5. 27” 令 儿 为 长 度 为 N、 生 成 多 项 式 为 8(X) 的 二 进 制 循环 码 。 

(a) 证 明 权 为 偶数 的 码 字 集合 aE 儿 是 循环 码 ， 并 求 出 它 的 生成 多 项 式 。 

(b) 证 明和 包含 一 个 权 为 奇数 的 码 字 当 且 仅 当 g1)A0, PBFICL, 
解答 (a) 如 果 码 多 是 偶数 ( 即 只 包含 偶数 权重 的 码 字 )， 那 么 每 个 多 项 式 a NEZA 
al)= >) a 一 0。 所 以 ，a(X) 包 含 因子 (XX 十 1)。 所 以 ， 生 成 多 项 式 g(X) 有 一 个 因子 


o<i<N-1 
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(CX 十 1) 。 反 之 亦 然 : 如 果 (CX 二 1) 能 整除 g(X)， 即 e)=0, 那么 每 个 码 字 aE .多 具有 偶 
权重 。 

现在 假设 多 包含 权重 为 奇数 的 一 个 码 字 ， 即 eQ)=1; 也 就 是 (1 十 X) 不 能 整除 g(X)。 
RE 是 在 光 中 由 偶 码 字形 成 的 子 码 。 循 环 移 位 不 会 改变 权重 ， 所 以 和 ”是 一 个 循环 码 。 
对 于 相应 的 多 项 式 <C(X) ， 与 之 前 一 样 ， 我 们 有 (1 十 X) 能 整除 aeCX) 。 所 以 ，2 ”的 生成 多 
MA g™"(X) 能 被 (十 X) 整 除 ， 所 以 ge XO) = g(X)(X+1). 

(b) 接 下 来 证 明 g(1)==1 当 且 仅 当 1€ 履 。 对 应 的 多 项 式 是 IH eH, CEER 
式 分 解 1 十 XX" 二 (1 十 X) (1 十 sw 站 XN1!) 中 (1 十 了 X) 的 补 因子 。 所 以 如果 g(1)==1， 即 
g(X) 不 包含 因子 (1 十 X)， 那 么 gX EE 1 十 … 十 XN! 的 一 个 除数 。 这 表明 1E .多 。 类 
似 地 可 证 明 逆 命题 。 口 
举例 2.5.28 ” 令 儿 为 长 度 为 N， 生 成 多 项 式 为 5(X)， 校 验 多 项 式 为 灵 (X) 的 二 进 制 循 
环 码 。 

(a) 证 明光 是 自 正 交 的 ， 当 且 仅 当 1L(X) 能 整除 g(X); 并 且 是 自 对 偶 的 ， 当 且 仅 当 
hi (X)=g(X), HPAL CK) HA thy XH +A Xe, ACK) Hho tee +h X + 
hiX* 是 校 验 多 项 式 ， 并 有 g(X)h(X)=14+X™, 

(b) rN 的 除数 ; |N。 一 个 三 进 制 码 儿 叫 作 六 -退化 ， 如 果 每 个 码 字 4E. 儿 是 一 
个 级 联 c…c， 其 中 Cc 是 长 度 为 7 的 序列 。 证 明 纱 是 1- 退化 当 且 仅 当 hh(X) 能 整除 (1 十 X')。 
解答 (a) 自 正 交 性 意味 着 必 所 多- ， 即 对 所 有 的 -ae，5E LMA (a, b)=0, MÆ 
例 2. 5. 26， 我 们 知道 AA OBL’ HERS HS. RE REA 2.5.26 78, SPCR 
当 且 仅 当 h+(X) 能 整除 g(X)。 

自 对 偶 性 意味 着 多 王 .2 BM h+(X)=g(X), 

(b) 对 于 N=rs， 我 们 有 因 式 分 解 

1 二 XN 二 (1 十 XX')(1 十 XX 十 … 十 XX"?) 
现在 假设 长 度 为 N、 生 成 多 项 式 为 g(X) 的 循环 码 必 是 -退化 的 。 那 么 对 于 某 个 长 度 为 
7 一 1 的 序列 c( 其 中 c=1 ce)， 码 字 g 具有 形 如 1 ec 1 el ce 的 形式 。 令 c (站) 为 对 应 于 Cc 
的 多 项 式 ( 次 数 壹 r 一 2)。 那 么 g(X) 为 
1X TKR HX AX” TX) +e HX XY OX) 
=(1+ X + = $+ XY) (14 X X] 
对 于 校 验 多 项 式 hOO RNA 
ACX)= 14+ X%)/CA +X +e + XY [14 X CCX)]) 
= (14+ X")/[1+ XK ¢(X)] 

BN hCX)fEC+X)" 的 一 个 除数 。 


相反 地 ， 令 hCX)| (1 十 X")， 其 中 g(X)h(z)=1 十 X"， 其 中 g(X) >，ciXico 一 1 。 


选取 c= 二 co…c,_1; 以 相反 的 顺序 重复 上 面 的 论证 ， 我 们 得 出 结论 : 码 字 g ERK ec D 
么 循环 移 位 xg EBC? ce ,其 中 c= 二 cic0r**c,-s( 二 ze，C 在 {0，1)' 上 的 循环 移 位 )。 
接 下 来 的 循环 移 位 迭代 阅 g 也 是 类 似 的 步 又 。 所 以 ， 儿 的 基 向 量 是 ~- 退 化 的 ， 所 以 整个 和 
也 是 这 样 。 口 

在 “标准 ”运算 中 ， 一 个 给 定 次 数 d 的 ( 实 或 虚 的 ) 多 项 式 p(X) 可 以 方便 地 通过 它 的 


根 (或 零点 )al ，…，oa( 通 常 为 复数 ) 来 识别 ， 依 靠 单项 式 分 解 : POO = ps [[ Xa). 


在 二 进 制 运算 (更 宽泛 地 说 ，9 进 制 运算 ) 中 ， 多 项 式 的 根 仍然 是 极其 有 用 的 概念 。 在 这 
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里 ， 根 能 够 帮助 我 们 利用 重要 的 可 预测 性 来 构建 二 进 制 循环 码 的 生成 多 项 式 g(X) = 
DETA" o 假设 此 时 g(CX) 的 根 ais 5 已 知 ， 并 且 表 达 式 


0<i<d 


sO, Ll x2) 


具有 固定 的 含义 (在 有 限 域 的 框架 内 被 提供 )。 即 使 不 了 解 形式 理论 ， 我们 也 可 以 得 到 一 些 
有 用 的 结论 。 

第 一 个 结论 是 : a 是 N 次 单位 根 ， 因 为 它们 应 该 在 多 项 式 1 十 X” 的 零点 之 中 。 所 以 ， 
它们 可 以 乘积 或 转 置 ， 即 形成 一 个 大 小 为 N 的 Abel 乘积 群 ， 可 能 是 循环 的 。 第 二 ， 在 二 
进 制 运算 中 ， 如 果 a 是 g(X) 的 一 个 零点 ， 那 么 a? 亦 然 ， 因 为 8 (CX)? Sg), ABA a’ 
是 零点 推出 a! 也 是 零点 ， 以 此 类 推 。 我 们 得 出 序列 a, d, ERMA: a =a a = 
1), 其 中 4 是 g(X) 的 次 数 。 也 就 是 说 ， 所 有 N 次 单位 根 可 分 解 成 不 相交 的 类 ， 形 如 名 二 
{a, s ees a), KDR cs ce 一 c( 色 ) 是 一 个 正 整数 (满足 2 一 1 RUN). CSP OE 
很 有 益 的 ， 其 中 c= 二 cla)。 相 同类 的 成 员 被 叫 作 彼此 共 e。 如 果 我 们 想 获 得 根 为 a 的 一 个 
生成 多 项 式 ， 那么 所 有 单位 根 a ECCO HIREA g(X) 的 单位 根 。 

因此 ， 构 造 一 个 生成 多 项 式 g(X)， 我 们 必须 从 类 中 “ 借 来 ” 根 ， 并 对 每 个 借 来 的 单位 
R, 我们 把 它们 类 的 所 有 成 员 都 集中 在 一 起 。 然 后 ， 由 于 任何 来 自由 g(X) 产 生 的 循环 码 
的 多 项 式 aX) E g(X) 的 倍数 ( 见 定 理 2.5. 10(Civ))，g(CX) 的 根 也 是 a(X) 的 根 。 相 反 地 ， 
如 果 a(CX) 具 有 g(X) 的 根 a;， 那 么 a(X) 也 在 此 码 中 。 我 们 看 到 循环 码 可 以 方便 地 用 单位 
根 进行 描述 。 
例子 2.5.29 (Hamming[7，4]j 码 ) 回 忆 二 进 制 Hamming[7，4] 码 .多 ”的 奇偶 校 验 矩阵 互 
是 3X7 的 矩阵 ; 它 的 列 为 所 有 长 度 为 3 的 非 零 二 进 制 码 字 ; 这 些 行 的 不 同 排序 确定 了 不 
同 的 码 。 在 这 节 的 后 面 我 们 将 解释 任何 给 定 长 度 为 2 一 1， 以 某 个 顺序 (或 某 些 顺序 ) 写 出 
来 的 非 零 二 进 制 码 字 序列 可 以 表示 成 一 个 单独 元 素 w WRI ws wy ws yw ?。 
产生 这 些 寡 的 乘法 法 则 具有 一 种 特殊 的 类 型 (多 项 式 的 乘积 对 某 个 次 数 为 Z 的 不 可 约 的 多 
项 式 取 余 )。 为 了 强调 这 一 事实 ， 我 们 在 这 一 节 用 记号 * 表示 这 一 乘法 法 则 ， 用 w ”替代 
w'。 不 管 怎样 ， 对 于 /二 3， 二 进 制 非 零 3 - 码 字 的 一 种 正确 排序 ( 取 自 两 种 可 能 的 排序 ) 为 
OO s lw be i 
el sl Ca TP 
RL S a ae ee (| 
因此 ， 关 于 这 种 表示 ， 等 式 aH =0, CMe TBF a=a-- a (或 它 的 多 项 式 a(X) = 
ray 在 多 ”中 ， 可 以 被 重新 写 为 


0<is7 


n= 


( #0 S ER .i son 
= \o OW  @@  @ E a 








5am  =0, Ral *w) =0 


换 句 话说 ，aCX)E 和” ， 当 上 且 仅 当 w 在 乘法 法 则 * 下 是 <(X) 的 一 个 根 ( 在 这 种 情况 为 次 数 乏 
2 的 二 进 制 多 项 式 对 多 项 式 1+X+X* 取 余 的 乘积 ) 。 

最 后 的 证 明 可 以 用 这 种 方式 转述 : HammingL7，44] 码 等 同 于 关于 包含 w RAKE 
阵 5(X) 的 循环 码 ; 在 这 种 情况 中 生成 多 项 式 g(X)=14+-X4+X*, WE gC w) =o tot 
w" 二 0。H* 行 的 男 一 种 排序 以 相同 的 方式 与 多 项 式 1 十 X’ 十 X* 相关 联 。 

假定 我 们 通过 短 运 算 定义 了 适当 的 操作 方式 ， 可 以 看 出 HammingL7，4] 码 是 被 单 根 w 
确定 的 。 由 于 这 个 原因 ， 我 们 可 以 称 w 为 这 个 码 的 定义 根 (或 定义 零 )。 这 就 是 为 什么 称 元 
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素 % 为 主 元 的 原因 ; 参考 3. 1 一 3.3 节 。 

举例 2. 5. 30 4 GG aj ***An=} EE 时 意味 着 da ”QTQ6 EZ, 则 码 尼 被 称 作 是 可 并 
的 。 证 明 具有 生成 多 项 式 g(X) 的 循环 码 是 可 逆 的 当 且 仅 当 g(a) 二 0， 意 味 着 g(a 1) 一 0。 
解答 ”对 于 生成 多 项 式 g(X) = >) g;X' ， 有 deg g(X)=d<N 和 go 二 gs 二 1， 北 多项式 是 


0<i<d 
g™(X) 二 X”!'g(X  )， 因 此 如 果 循 环 码 光 是 可 闭 的 ， 且 w gOOMR, BA a 是 g™(X) 
的 根 。 当 且 仅 当 ga ')=0 这 才 是 可 能 的 。 

HE, S g(X) 满 足 性 质 ga) 三 0 意味 着 g(a ')= 二 0。 上 面 的 公式 对 于 所 有 多 项 式 的 
次 数 二 N 的 a(X) 都 成 立 : a (X)= X aX), MRaNYECL 可 以 得 到 对 于 g(X) 的 
所 有 根 a A ala)=ala')=0. WARF gc XO WAAR a A ala) =a (ae ')=0. A, 
a™ (XE eV KHER, Harl QDE. o 

研究 多 项 式 根 的 自然 架构 是 基于 有 限 域 理论 或 Galois 理论 的 (我 们 已 经 看 到 过 多 项 式 
领域 是 如 何 被 使 用 的 ) 。 在 这 节 的 剩余 部 分 我 们 给 出 一 个 简短 的 关于 Galois 理论 的 介绍 ， 
以 更 好 理解 前 面 介绍 过 的 编码 的 例子 。 在 第 3 章 我 们 将 会 更 深入 地 探讨 Galois 理论 ， 以 获 
得 足够 的 知识 来 进行 码 字 的 构造 。 
备注 2.5.31 域 是 一 个 交换 环 ， 其 中 每 个 非 零 元 素 都 是 可 道 的 。 就 是 说 ， 当 乘法 产生 了 一 
个 群 时 环 就 是 域 。 事 实 上 ， 一 个 域 的 非 零 元 素 的 乘法 群 是 循环 的 。 
定理 2.5.32 令 g(X)E[XX] 是 一 个 次 数 为 d 的 不 可 约 的 二 元 多 项 式 ， 那 么 ， 模 g(X) 乘 
在 具有 2 个 元 素 的 域 上 产生 一 个 次 数 三 d 一 1 (也 就 是 空间 本 4) 的 二 进 制 多 项 式 集 合 。 相 
反 ， 如 果 模 g(X) 乘 产生 一 个 域 ， 则 g(X) 是 不 可 约 的 。 

证 明 唯一 一 个 需 验 证 的 重要 性 质 是 逆 元 素 的 存在 性 。 取 非 堆 多项式 (XxX), AA 
deg f(X)<d—-1, SBM fOOA(X) (一 般 的 乘法 ) 的 所 有 多 项 式 ， 其 中 h(X) 遍 历 所 有 
次 数 过 d 一 1 的 多 项 式 集合 。 这 些 结果 一 定 是 不 同 的 模 g(X)。 实 际 上 ， 如 果 

fXIh (X) = f(X)h:(X)mod g(X) 
IMA, HF- ERKAK 2 的 多 项 式 v(X)， 有 

fCX) (hy CX) — hp (X)) = 0X) g(X) (2. 5.15) 
这 就 意味 着 或 者 是 g(X) | 了 (X) ， 或 者 是 gOO |h Kh (X). 我 们 得 出 如 果 多 项 式 g(X) 
SERA AH, BRIE h CX) =A, (X) H v(X)= 二 0， 否 则 式 (2. 5. 15) 是 不 可 能 的 。 对 于 一 个 且 
只 有 一 个 多 项 式 几 CX) ， 我 们 可 得 

fCORCX) = 1 mod g(X) 

A(X) 表示 FOO RE ¢ XO) 乘 的 逆 。 我 们 记 为 hOO=f— OY". 

另 一 方面 ， 如 果 g(X) 是 可 约 的 ， 有 g(X)=bX)b (X), Hep CX) fl bX) 都 是 非 
零 的 ， 并且 次 数 二 4， 即 6(X)b'(X)=Omodg(X), WMR qa 乘 生成 一 个 域 ，25(CX) 和 2 (X) 
Mee, MCX)", CX)". Rit 

b (X)~*! * BCX) * b'(X) = b'(X) = 0 
和 相似 的 bCX) =0. 口 
通过 以 上 构造 方法 得 到 的 域 被 称 为 多 项 式 域 ， 通常 表示 为 .FLX]/(g(X))。 它 包含 
了 2“ 个 元 素 ， 其 中 d=dege(X) (代表 次 数 二 4 的 多 项 式 )。 我 们 称 g(X) 为 域 的 核 多 项 
式 。 在 这 节 的 剩余 部 分 ,我 们 将 在 一 个 给 定 多 项 式 域 的 乘法 用 x* 号 表示 。 零 多 项 式 和 1 
多 项 式 分 别 用 0，1 表示 : 它们 明显 是 多 项 式 域 的 零 和 单位 1。 如 下 的 结果 起 到 关键 
作用 。 
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定理 2.5.33 (a) ESRARME(XI)/(g(X)) HERA RRR FA A 24-1 HM 
IRRE Zod ZAMAN. 
(b) 通过 挑选 次 数 为 d 的 不 同 的 不 可 约 多 项 式 来 获得 的 多 项 式 域 都 是 同 构 的 。 
证 明 ”在 这 里 我 们 只 证 明 结 论 (a)。 结 论 (b) 将 会 在 3.1 节 中 证 明 。 从 域 中 取出 任意 一 个 元 
K, aC XEKR(LX]/(g(O), PUMA 
a (RY = aR *a(X) 


i 次 
〈 域 中 的 乘法 ) 取 最 多 2 一 1 值 ( 域 中 的 元 素数 少 一 个 ， 因 为 0 是 被 排除 的 )。 因 此 存在 一 个 
正 整 数 r 使 得 a""(X) 二 1; r 的 最 小 值 被 称 为 a(X) 的 阶 数 。 
选择 一 个 最 大 阶 数 为 7 的 多 项 式 a(X)EF[X]/(g(X))。 那 么 我 们 称 任何 一 个 其 他 元 
KOX) 的 阶 数 能 除 尽 r。 事 实 上 ，, 邻 ; 为 5(X) 的 阶 数 。 取 ;的 素数 因子 zp， 然 后 写 为 
s= pus Hu y= pi 
WERA c, c>0, Al, l>1, Ep., U 是 不 可 被 p 整除 的 。 我们 可 以 得 到 cSc', F 
XE, WHat” (X) 的 阶 数 是 1，6b"*(X) 的 阶 数 是 p, HRR a” tb" X) 的 阶 数 是 
lp’. lk, c'<c 或 者 别 的 > 都 不 是 最 大 的 。 这 对 于 任何 的 素数 p 都 是 正确 的 ， 因此，s 
能 够 整除 >。 口 
因此 ， 对 于 > 是 最 大 的 阶 数 ， 域 中 的 每 一 个 元 素 5b(X) 满足 07"7(CX) 王 1。 通 过 使 用 pi- 
geon-hole 原理 ， 我 们 可 以 得 到 ”一 2 一 1， 这 是 域 中 非 零 元 素 的 数目 。 因 此 ，a(X) BHR 
r 的 一 个 元 素 ， 宕 级 数 1，a(X)，…，a"“2 -0(X) 彻 底 讨 论 了 域 的 乘法 群 。 

在 定理 2. 5. 33 的 证 明 中 ， 我们 使 用 符号 Fx 表示 任意 多 项 式 域 F,[X]/(g(X))， 其 中 
gX) 是 一 个 次 数 为 d 的 不 可 约 二 元 多 项 式 。 更 进一步 ， 在 Fs 中 的 非 零 元素 乘 法 群 用 F, 
表示 ; 它 是 循环 的 (根据 定理 2.5.33， 有 二 Zw_1)。 任 意 群 Fi 的 生成 子 (其 中 *- 窜 穷尽 
Fa ) 被 称 为 域 Es 的 主 元 。 
例子 2. 5. 34 我 们 能 看 到 写 出 的 全 部 不 可 约 多 项 式 列表 的 重要 性 。 有 6 个 次 数 为 5 的 不 可 
约 二 元 多 项 式 ( 其 中 每 个 都 是 主 元 多 项 式 ) : 

1 0 X* 1+ X94 X81 + KEK XM 
VEX + XP PR EERI FA 6 ES! 
1+ X?4 X3+X*+ xX (2. 5. 16) 
并 且 有 9 个 次 数 为 6 的 (其 中 六 个 是 主 元 多 项 式 ) : 
1 十 X 十 Xe ,1 十 和 十 Xs +X HX, 1 十 Xs 十 X: 
1+X+ X*?+X°4+ X°,14+ X? +X? 4+ X°+ X*,14+-X4+X'4+ X°+ Xx! 
LEX HX 4+ X*4+ X*,14 X? + X*4+ X°+ X*,14 X°+ x® (2.5.17) 
不 可 约 多 项 式 的 数目 会 随 着 次 数 的 增加 显著 增加 : KAA 7 A 18 个， 次数 为 8 时 有 30 
个 ， 等 等 。 然 而 ， 在 各 种 有 限 域 中 ， 存 在 有 大 量 可 用 的 不 可 约 多 项 式 。 
例子 2.5.35 (a) MECXI/(1+X+X BMPR: 0, 1, X, 14+X, MERER. 
X*X=14+X, 4 X? =14+ Xmod(1+X+ X’) 
X*(4+X) =X+X*X=1 
GQ+X)*(14+X)=14+X4+X4X*X=1414+X=xX 
因为 XX"*(1 十 X) * 义 二 1， 群 与 Z 是 同 构 的 。 对 于 这 个 域 的 一 个 备 选 符号 是 FF 。 

O RED XI/1+X+X)BIXV/1+X+X) 每 个 包含 了 8 个 元 素 ， 代 表 了 次 数 过 

2 的 所 有 多 项 式 。 每 个 这 样 的 多 项 式 ao +a, X +a, X 都 是 通过 它 的 系数 序列 a) a, a; (—f- 
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1+X +X? 1+X? +X? 

xe 多 项 式 码 xt DOA 码 

一 000 To pao 000 
> 100 o i es | 100 
x x 010 X X 010 
xr X? 001 x x2 001 
xs 1-EX 110 ge 1X? 101 
xy XK 011 x ES x 111 
xs MMR? 9111 x5 ER 110 
x*6 1 +X? 101 x*6 X 十 和 2 011 

图 2-6 


在 两 种 情况 下 ， 非 零 元 素 的 乘法 群 是 Z, 。 这 两 个 域 明显 是 同 构 的 ， 因 为 它们 共享 同样 
的 乘法 循环 群 形式 。 这 些 域 的 共同 符号 是 。 注 意 的 是 两 个 域 表 对 于 O<I<3 的 EXE 
一 致 的 ;事实 上 ， 这 是 一 个 一 般 的 模式 ， 见 3. 1 一 3. 3 节 。 

此 外 ， 元 素 X=X''ERLXI/1+X+X) TURUABBSWMA 1 十 X 十 3 的 一 个 
根 ， 且 元 素 X=X''CwR(XI/14+X?+X*) 被 认为 是 1 十 呈 2 十 X3 的 一 个 根 ， 因 为 这 些 多 
项 式 在 它们 各 自 的 域 里 产生 零 。 剩 余 的 两 个 根 是 X**，X*“( 同 样 在 它们 各 自 的 域 里 被 计 
算得 出 ) 。 

将 这 个 例子 应 用 到 HammingL7，4] 码 中 (人 参考 例子 2.5.29), BURL X]/(1+X+X* ) 产 生 
生成 多 项 式 1 十 了 X 十 习 的 根 ， 域 到 [X]/(1 十 XX 十 X?) 产 生生 成 多 项 式 1 十 X? 十 X 的 根 。 
即 ， 如 果 在 两 个 同 构 域 杷 LX]/1 十 X 十 Xs > 中 的 任意 一 个 有 定义 根 w=X，Hamming[7， 
4j 码 等 效 于 长 度 为 7 的 循环 码 。 不 精确 地 说 (该 说 法 将 会 在 3.1 节 中 修正 )， 这 个 码 是 被 它 
的 根 w 定义 的 ， 这 个 根 是 的 素数 元 素 。 

(c) MF LXI/1+X+X') aT 16 个 元 素 。 域 表 如 














图 2-7 所 示 。 在 这 种 情况 下 ， 乘 法 群 是 WTU, O EE 
表示 。 如 上 述 , TR XE[X]/(1 十 XX 十 X*) 产 生 了 多 项 “|X” 1 1000 
式 1 十 X 十 X! 的 一 个 根 ; HAE XX XT, | za e pe 

这 个 例子 可 以 被 把 Hamming[15，11] 码 视 为 生成 多 r F as 
项 式 5&(X)=1 十 X 十 X+ 的 循环 码 。 我 们 现在 可 以 说 Ham- |xs x4 x? 
ming[15，11] 码 是 ( 模 等 价 ) 长 度 为 15 的 循环 码 ， 其 中 域 | IN 
FLX]/A(1 十 X 十 X') 中 的 定义 根 为 w( 二 X)。 因 为 X 是 域 [x 14X2 1010 
中 乘法 群 的 生成 子 ， 我 们 同样 可 以 说 定义 根 w 是 Fs 的 素数 |xwo ixe mo 
pe RAR Gh 

通常 情况 下 ， 取 域 肪 [Xj/(g(X)), 其 中 gO = [yw 14x24X3 1011 
D eX 是 一 个 次 数 为 加 的 不 可 约 二 进 制 多 项 式 。 那么 元 素 EO a | ne e 
0<i<d eee 


Xs x, Tees hatri X 将 满足 等 式 
S aA Oy ts NE a 


也 就 是 说 ， 在 不 可 约 多 项 式 q WRX] Ee H, X, X, X“, e, KO 严格 
HE, 

从 例子 2. 5. 35 中 体现 出 的 另 一 个 特征 是 在 所 有 部 分 (a)-(c) 中 ， 元 素 X 代表 核 多 项 式 
g(X) 的 根 。 然 而 ， 在 通常 意义 上 这 是 不 正确 的 。 只 有 当 g&(X) 为 “ 主 ” 二 元 多 项 式 时 才 成 
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立 ; 对 于 这 个 性 质 的 详细 讨论 见 3. 1 一 3. 3 节 。 此 外 ， 对 于 一 个 主 核 多 项 式 g(X) 我 们 有 对 
F i<d=degg(X) MEX SX BMAM, MELKE X, m<i<24—-1, HMMA 
地 计算 出 来 。 继 续 这 个 思想 ， 我 们 就 可 以 讨论 一 般 的 二 进 制 Hamming 码 。 

例子 2. 5. 36” 令 % ”是 二 元 [2 一 1，2 一 1 一 个 Hamming 码 。 我 们 知道 它 的 奇偶 校 验 和 矩阵 H 
由 所 有 长 度 为 6 的 非 零 列 向 量 来 表征 。 这 些 以 特别 的 顺序 写 出 的 向 量 ， 列 出 了 在 域 包 [XJ]/ 


(g(X)) "PAQERER o s i=0, 1, +, 2—-2,, 其 中 w= 上 且 g(X)==go 十 BX 十 于 二 gy! 十 
X 是 次 数 为 4 的 本 原 多 项 式 。 因 此 

1 0 waa 0 go 

0 1 oe 0 gı 

HS ee sew eee eee see eve (2: 5.18) 

0 O 6 ee 

CO Eng 
或 H~ ete Pw ow" of), 


因此 ， 如 前 所 述 ， 码 字 的 等 式 aH" 二 0 等 效 于 对 应 的 多 项 式 al xo) =0, Alt, 我们 
TAH aO EZ” HUNK o 是 a(X) 中 的 一 个 根 。 

另 一 方面 ， 通 过 构造 ，w 是 g(X) 的 一 个 根 : g(x*w) 二 0。 因 此 ,我们 把 Hamming[ 2 一 
1，2 一 1 一 处 码 与 由 生成 多 项 式 g(X) 产 生 的 长 度 为 2 一 1 的 循环 码 视 为 等 效 ， 其 中 g(X) 
有 定义 根 w。 根 的 作用 可 以 由 任意 共 思 元 素 从 {w，w”*，…，w*”“ } 中 体现 出 来 。 

上 面 的 思想 产生 了 一 个 直接 的 ( 且 深 远 的 ) 归 纳 。 取 N==2/ 一 1 HS o HRF? œF, [X] 
(g(X)) 的 一 个 素数 元 素 ， 其 中 g(X) 是 一 个 本 原 多 项 式 。( 在 这 章 所 有 的 例子 和 问题 中 ， 
这 个 条 件 都 是 满足 的 。) 考 虑 根 的 一 个 定义 集合 ， 以 w，w?*，w 的 形式 开始 ， 但 是 更 普遍 的 
是 w，w ，…，w* 0 。( 其 中 参数 9 通常 是 个 整数 上 且 大 于 3。) 考 虑 具有 这 些 根 的 循环 码 : 我 
们 有 什么 想法 吗 ? 长 度 为 N=2: 一 1， 我 们 可 以 猜测 它 可 以 产生 Hamming[L2: 一 1，2 一 1 一 
人 码 的 子 码 ， 可 以 纠正 一 个 以 上 的 错误 。 这 就 是 所 谓 的 (二 元 ) BCH 码 构造 的 主旨 (Bose- 
Choudhury, Hocquenguem, 1959), 

在 这 节 中 我 们 只 是 对 BCH 码 做 了 一 个 简短 的 介绍 ; 这 些 码 字 更 详细 和 更 具 普 适 性 的 
介绍 将 在 3. 2 节 中 讨论 。 对 于 N=2!—-1, MFy— RL XI/(e(X) RAW EHR: 它 的 非 
零 元 素 是 单位 根 的 第 N 个 根 ( 即 多 项 式 1 十 X* 的 零点 )。 也 就 是 说 ， 多 项 式 1 十 X* 可 因 式 
分 解 为 线性 因子 [| X-u) 的 乘积 ， 其 中 所 有 oF TRE). CE 3. 1 节 中 的 说 法 


1<j<N 
H, FÆ 1 十 XN FEF, 上 的 分 裂 域 .) 这 里 我 们 使 用 符号 o: =X 表示 乘法 循环 群 Fz 的 生成 
器 。( 事 实 上 它 可 以 是 这 个 群 中 的 任意 生成 器 。) 
因为 wx=1， 且 根据 性 质 指 数 N 是 最 小 的 ， 因 此 元 素 w 通常 被 称 为 第 N 个 本 原单 位 
根 。 因 此 ， 当 OSRk<N 时 功率 w* 产 生 了 这 个 域 的 不 同 元 素 。 当 我 们 推断 出 如 下 乘积 结果 
时 ， 会 使 用 这 个 事实 
(ai — wt) 40 


1<i<j<d-1 


上 述 乘积 满足 每 一 个 功率 oh, e, w 的 集合 。( 这 样 的 集合 是 从 定理 2. 5. 39 的 证 明 中 
(6 一 1) XN 奇偶 校 验 矩阵 生成 的 (6 一 1) X (6 一 1) FE.) 

定义 2.5.37 Be N=2'—-1 和 6 二 3，…，N， 定 义 一 个 长 度 为 N， 设计 距离 为 6 的 狭义 
二 元 BCH HAs ， 即 由 阶 数 小 于 N 的 二 元 多 项 式 a(X) 形成 循环 码 ， 有 
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a = «= alo?) 0 (2.5.19) 
也 就 是 说 ， N's 是 长 度 为 N 的 循环 码 ， 它 的 生成 器 g(X) BASH, os s oH 
最 小 二 元 多 项 式 : 
g(X)= lem{ (X — w), (X — w )} 
= Jem M, CXM ab CX) } (2. 5. 20) 
在 这 里 lem 代表 着 最 小 公 倍 数 且 M.(X) 代表 着 根 为 a 的 最 小 二 元 多 项 式 。 为 了 简化 我 们 
将 在 这 章 中 使 用 术语 二 元 BCH 码 。( 在 3. 2 节 中 将 介绍 更 具 普 适 性 的 BCH BX.) 
例子 2.5.38 4N=7, H4WSMAMER(LXI/14+X+X*) RHR(CXI/14+X?+ 
X), ARF ATR PH—t. AAT 是 一 个 素数 ， 这 个 域 中 的 任意 非 零 多 项 式 都 有 乘 
法 阶 7， 即 非 零 多 项 式 是 包 [X]/(1 十 X: 十 X?〉 中 乘法 群 的 生成 器 。 事 实 上 ， 我 们 可 以 将 多 
项 式 1 十 X 分 解 为 不 可 约 因子 乘积 : 
14+ X?=(14+-X)04+X4+ X*)(14 X*4 X) 
WFR TEE, XI/1 + X+X*), Wo=X 满足 
eo =l -amw =1+ 0m! =1+oat 
EBIT mw，w* ，w' 是 核心 多 项 式 1 十 X 十 X’ 的 根 : 
1+ X+ X? = (X—w)(X—w)(X—w) 
FFF w, ws w =e H1ItX +X MR: 
1+ X° +X? = (X—@') (X—w') (X—o) 
因此 ， 长 为 7， 设计 距离 为 3 的 二 元 BCH BEHRMAN 的 二 元 多 项 式 a(X) 生 成 的 。 即 
alw) = alw) 二 0, 其 中 a(XX) B14 X4+KHEK 
这 个 码 与 HammingL4，7] 码 是 相等 的 ， 尤 其 是 它 的 “真实 ”上 距离 等 于 3。 
长 度 为 7， 设计 距离 为 4 的 二 元 BCH 码 是 由 阶 数 科 6 的 二 元 多 项 式 a(X) 生 成 的 ， 即 
a(w) 二 a(w’) 二 a(w’) 二 0， 其 中 a(X) 就 是 下 式 的 倍数 
(+X+X°)(14+X%?4+X9)=14+X+X?+ X*4 xt + Xs 于 Xe 
KART AMBRE, 。 
BCH 码 理论 的 主要 部 分 是 
定理 2.5.39 (BCH 界 ) 设 计 距 离 为 6 的 二 元 BCH 码 的 最 小 距离 大 于 等 于 Oz 
定理 2. 5. 39( 有 时 被 称 为 BCH 定理 ) 的 证 明基 于 如 下 结果 。 
引 理 2.5.40 # Æ mXm 的 Vandermonde 行列 式 ， 行 列 式 由 交换 环 中 的 项 构成 ; 


al a Am a aoc at 
af a oo ah a a oc as 
da | ed i (C225 21 
al a in Sey | Gin OQ 
这 个 行列 式 的 值 是 
[I a x T Cai —a;) (2. 5. 22) 
1m 1<i<j<m 
引 理 2.5.40 的 证 明 式 (2.5.21) 的 行列 式 都 以 al，…，aw 多 项 式 的 形式 表达 。 当 i<j 如 


果 有 a 二 a;， 则 行列 式 有 重复 的 行 (或 列 )， 并且 因此 可 以 删 去 (正如 在 标准 的 算法 中 )。 
此 , 行列 式 分 解 为 乘积 [| (a; 一 a;) 。 然 后 我 们 比较 式 (2; 5. 21) 和 式 (2. 5. 22) 中 a HD 


l<i<j<m 


率 ， 这 会 立即 得 出 引 理 2. 5. 40. oO 
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定理 2.5. 39 的 证 明 SoHma KEL, WFMAW j=l, e, 6-1 A al* w )=0, 
也 即 ， 

1 a a n2 ae art (N-1) ao 

1 on a or wo 2X) a 

; =0 

i a ee wrt ane renen aga 
根据 引 理 2. 5. 40,，((6 一 1)XN) 矩阵 的 任意 (8 一 1) 列 都 是 线性 独立 的 。 因 此 ， 在 aCX) 
中 至 少 有 8 个 非 零 系 数 。 因 此 ，& WERS. 口 


例子 2. 5. 41 在 文献 [18]106 页 中 的 一 个 错误 已 被 纠正 ) 考 虑 一 个 N=15, d=5 的 BCH 
码 。 使 用 以 下 分 解 成 不 可 约 多 项 式 : 
X55 三 1 =(X41)(X?+X41)(X1 +X +INX +X F1) 
x (Xt+ X8+ X74 X41) 
码 的 生成 多 项 式 是 
g(x) = (X*'+ X4+1)(KX'4+ X94 X*°4+ X41) = X84 X74 X94 X41 
BEE, gw )=gw)=0, X HKHH 的 零点 集合 是 (2; ws ws w). Xt 
XX 十 1 的 零点 集合 是 (@， wo’, wo, wD MTX +1 的 零点 集合 是 (ww ws, wo). 
X 十 X 十 1 的 零点 集合 是 (w% w). 
(b) $ N=31, w BF, WAR. RA o 的 最 小 多 项 式 是 
M,(X) = (X —w) (X — w CX oO CX dC 
我 们 同样 可 以 得 到 根 为 w 的 最 小 多 项 式 : 

Ms (X) = (X—w (X— o) (X — W) (X — W) (X — w") 
利用 定义 可 得 长 度 为 31， 设计 距离 为 6=8 的 BCH 码 的 生成 器 是 g(X)=lcm(M, (X), 
Ms (X)，M.s (X)，M,(X))。 事实 上 ，BCH 码 ( 很 显然 长 度 至 少 为 9) 的 最 小 距离 至 少 为 
11。 这 可 从 定理 2. 5. 39 中 得 到 ， 因 为 所 有 的 功率 w，w*，…，w" 都 可 从 gC(X) 的 根 中 
得 到 。 

对 于 BCH 码 来 说 有 一 个 简单 的 解码 实现 : 它 可 以 归纳 为 Hamming 码 解 码 过 程 。 根 
据 定理 2. 5. 39 知 ， 设 计 距 离 为 8 的 BCH 码 至 少 可 以 纠正 :一 | “| 个 错误 。 假 定 发 送 一 


个 码 字 ce 一 co…cNw-1， 接 收 到 存在 错误 的 码 字 为 r=cte, HP e=errey.. BE e RSA 
t 个 非 零 项 。 引 和 人 所 有 阶 数 二 NN 的 相关 多 项 式 c(X)，r(X)，e(CX)。 对 于 AX) 有 clw)= 
chw =m lwt P)=0, BRA 
rlw) = eldar a) miela ) ne rm = ew? ) (2. 5. 23) 
因此 ， 对 于 ;=1，…，0 一 1 我们 可 以 计算 相应 的 ~(o ) 。 如 果 结 果 都 是 0， 则 ~(X) EK 
( 则 无 错误 或 最 少 有 t 十 1 个 错误 )。 否 则 ， 令 ES (i; e 王 1) 代表 着 错误 的 位 数 ， 且 假定 
0 二 #E<zt。 引 人 错误 位 置 多 项 式 
oX)= [[ ax) (2.5. 24) 
iC E 


它 有 二 进 制 系数 ， 阶 数 为 #E 旦 最 小 系数 为 1， 如果 知 道 CX)， 我 们 可 以 找到 它 的 根 为 功 
率 w-'， 因 此 能 找到 错误 位 数 iE 已 。 然 后 我 们 可 以 简单 地 改变 这 些 位 数 就 能 纠正 差错 。 
为 了 计算 olX)， 考虑 如 下 形式 震级 数 


CCX) = DS) elu) Xi 


j21 
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(观察 到 因为 w* 二 1， 故 这 个 适 级 数 的 系数 是 循环 .) 对 于 最 初 的 (8 一 1) 个 系数 ， 借 助 
式 (2. 5. 23) 特 点 ， 我 们 有 等 式 

ela’) = rie) of = 1,°2,.d—1 
只 有 这 些 是 我 们 需要 的 ， 然 后 依据 接收 的 字 r 来 计算 它们 。 








现在 令 
wX)= Dw [[ 0X) (2. 5. 25) 
i€E jEE:j#i 
然后 将 上 面 形 式 级 数 重 写 为 
me ., ij nan ij ae wrx om w(X) 
gX) = 24 240 x 2° X= Bega 7 AX) (2. 5. 26) 
观察 到 多 项 式 wCX) ，c(CX) 阶 数 都 是 # E<t, 
根据 下 式 以 及 系数 


elw ) = rlw ) sy = 4," ,2 
从 式 (2. 5. 26) 中 得 到 的 等 式 COCO =u X) 可 以 写 为 
(ao Hoi X + FoX’) X (rw) X + et + rw) X* + ew? )X2 + eee) 


=H twr K + FaK" (EAEE A] 
我 们 感 兴趣 的 是 X 的 系数 ， 其 中 <<, CNW E 
Si or@*”) =0 (2. 5. 28) 
oxj<e 
且 没 有 涉及 e(w') 中 的 任何 项 。 我 们 得 到 下 面 的 等 式 
ria”) rlw) “= rCw) | (o 
rE E Jr waka) rlw ) | |oo 0 
a OD) Me uP) ska) Vile; 


上 面 的 矩阵 是 一 个 上 (十 1) 的 矩阵 ， 故 其 核 中 总 存在 一 个 非 零 向 量 。 该 向 量 标识 了 错误 
定位 多 项 式 cCX)。 可 以 看 出 ， 上 述 的 过 程 ( 叫 作 Berlekamp-Massey 解码 算法 7 确保 我 们 能 
够 明确 指定 集合 已 并 纠正 小 于 等 于 上 个 错误 。 

不 幸 的 是 ，BCH 码 是 渐 近 “ 坏 ” 的 : 对 任意 BCH HFI, MERKE N>, k/N 
或 4/N 趋 于 0。 换言之 ,它们 位 于 图 2-2 的 底部 。 为 了 获得 满足 Gilbert-Varshamov(GV) 
界 的 编码 ， 需 要 使 用 基于 代数 几何 的 更 有 效 的 方式 。 这 种 编码 早 在 20 世纪 70 年 代 构 造 出 
来 (Goppa 和 Justesen 编码 )。 但 仍然 存在 着 构造 一 个 位 于 Gilbert-Varshamov 曲线 之 上 编 
码 的 问题 。 正 如 之 前 提 到 的 ，Tsfasman、Vladut 和 Zink 在 1982 年 发 明了 一 类 新 的 编码 ， 
当 码 表 中 的 符号 数 足 够 大 时 ， 这 些 编码 位 于 GV 曲线 上 。 然 而 ， 对 于 二 元 编码 ， 问 题 仍然 
存在 。 
举例 2. 5. 42 对 于 生成 多 项 式 5(X) 王 X3s 十 X 十 1 MAFBRHES AR h(X)=X'4+X?+ 
X 十 1， 计 算 循 环 码 的 秩 和 最 小 距离 。 现 在 ， 令 mw 为 域 Bs 中 g(X) 的 根 。 我 们 接收 到 码 字 
r(X)=X°+X°+X(mod X7 一 1)。 证 明 r(o) 一 过 ， 并 使 用 最 小 距离 译 码 对 (和 X) 进 行 
解码 。 
解答 ”长度 为 N 的 循环 码 的 生成 多 项 式 为 g(X) € [LX]， 奇 偶 校 验 多 项 式 为 h(X) € 
F.LX]B g(X)h(X) 二 1 十 XN。 注 意 到 如 果 g(CX) 的 次 数 为 &， 即 .8(CX) = 一 ao 十 aiX 十 … 十 
a,X*, Hrha,40, BA, g(X), Xg(X), +, XY eg(CX) 形 成 了 该 循环 码 的 一 组 基 。 
特别 地 ， 该 循环 码 的 秩 为 N—k. KI, N=7, k=3, HHA 4. 
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MFR, WR ACK) =b +b, Xe tbr- X < 则 奇偶 校 验 矩 阵 互 具有 如 下 形式 


CN Ones 7a bı by 0 fo 0 0 
0 ON Oya by bo ve 0 0 
rire al Sk ETA 
0 0 = 0 ON DR =*? b, bo 





于 是 我 们 有 如 下 关系 : 
RAZA > 没有 权重 为 1 的 码 字 
没有 重复 列 之 没有 权重 为 2 的 码 字 
线性 编码 .多 的 最 小 距离 & (和 ) 是 码 字 的 最 小 非 零 码 重 。 在 该 例 中 ，&(4)=3。( 实 际 上 ， 
该 循环 码 等 价 于 Hamming |7, 4].) 
由 于 gC(X)E BLX] 是 不 可 约 的 ， 编 码 属 F[X]/(X' 一 1) 是 由 w 定 义 的 循环 码 。 在 了 
中 非 零 元 素 的 乘法 循环 群 Z7 为 
w = lwow w = wt lw =w Fw 
w =w tw =wtotlw =w tw tw=wtl1 
w =w w= l1 
其 次 ， 正 如 所 要 求 的 ，r(w) 的 值 为 
rlw) = wtw + w 
= wt atl Hatot 1) 
= w Ho S= w 
& c(X)=r(X)+X*mod(X'—1), BA clw)=0, BP c(X) 是 一 个 码 字 。 由 于 d(X)=3, 
该 编码 可 以 纠正 一 个 错误 。 我 们 刚好 发 现存 在 一 个 码 字 (X), ES >(X) 的 距离 为 1。 于 
是 根据 最 小 距离 译 码 ，r(X) 王 X 十 X: +X 能 被 解码 通过 
EXIS Xt KX? + M+ XK modi X — 1) E] 
最 后 我 们 用 两 个 有 用 的 结论 来 总 结 这 一 节 。 
举例 2. 5. 43 (多 项 式 的 欧式 算法 ) 欧 式 算 法 是 用 于 计算 在 相同 域 F 中 的 两 个 多 项 式 fK) 
和 8g(CX) 的 最 大 公 因 式 的 一 种 方法 。 假 设 deg g(X)<deg f(X), FAR f(X)==r_1(X)， 
g(X)=r (X), H 
C) FA ro (X) r-i (X): 
ra(X) =q (X)ro (X) +r: (X), # #¥ degrı (X) < degr, (X) 
(2) An OR r (X): 
ro (X) = qe (X)r, (X) +7.(X), HE degr, (X) < degr; (X) 


(k) 用 a, Os r,(X); 
Ta (X) se (Kri (X) +r,(X),# H degr, (X) < degR,, (X) 


该 算法 持续 到 余数 为 0: 
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() 用 r r-i ( Rs 
r CK) oq, Rr kX) 
则 
ged FUX) SCOR) Sra CX) (2. 5. 29) 
在 每 个 阶段 ， 当 前 的 余数 ri (X) 涉 及 两 个 之 前 的 余数 。 因 此 ， 所 有 的 余数 ， 包 括 
gcdCFCX)，g(X))， 都 可 以 写成 用 SOAM g(X) 表 达 的 形式 。 实 际 上 ， 
引 理 2.5.44 欧式 算法 中 的 余数 ri(XX) 满 足 
ri(X) = a, (X)f(X) +b: (X)g(X),k <1 
其 中 
a 0 
a X= 0,&6X) = 1, 
ai(X)=—q Ma (XR) a (Xk 1, 
by (X) =— gp (Xb (CX) + ye (KX) RS 1 
特别 地 ， 存 在 多 项 式 aX) Fe b(X), 444 
gcd(f(X),g(X)) = a(X) f(X) +o(X) g(X) 
此 外 : 


(1) deg ar(X) = 5) deg g:(X) , deg &(X) = 5) deg gi (X) . 


2<i< 1<ix<k 


(2) deg r,(X) = degf(X)— 5) degg (X). 


l<i<ktl 


(3) deg bi.(X)=degf(X)—degr:_1(X), 
(4) ap (CX) bee CX) —arn OOO, OO =(—1)*"',, 
(5) a (X) fe b KORA. 
(6) ry CX) Oy CX) — re COB, CO=C—1)*"" FC). 
7) na Oa CO — rn (Day OO = (1 ECO. 
证 明 ”该 证 明 留 作 练习 。 o 


2.6 本 章 附 加 问题 


问题 2. 1 长 度 为 NN 的 二 元 循环 码 必 的 校 验 多 项 式 h( 义 ) 被 定义 为 条 件 a( 久 )E 避 当 且 仅 当 
a(X)h(X)=0 mod (1 十 XN”)。 该 校 验 多 项 式 是 如 何 与 铬 的 生成 多 项 式 联 系 的 ? BE 
h( 匀 )， 构 造 奇 偶 校 验 和 矩阵 并 解释 PHERK Hy. 

描述 所 有 长 度 为 16 和 15 的 循环 码 。 找 出 重复 码 和 奇偶 校 验 码 的 生成 多 项 式 和 校 验 多 
项 式 。 找 出 长 度 为 7 的 Hamming 码 的 生成 多 项 式 和 校 验 多 项 式 。 
解答 ”所 有 长 度 为 16 的 循环 码 均 是 1 十 X= 二 (1 十 X)58 的 因子 ， 即 由 g(CX) 王 (1 十 X)* 生 
R. Hep k=0, 1, =, 16, KB k=0 给 出 了 全 部 的 {0，1)”*”, R=1 为 奇偶 校 验 码 ， k= 
15 为 重复 码 (00…0，11…1), R=16 JEFE., X N=15, 分 解 为 不 可 约 多 项 式 的 过 程 
如 下 : 


LEXE =(1+X)0+X+X*)14+X+ X04 X*4 X*) 
Rea XE XR) 
其 中 所 列 不 可 约 多 项 式 的 任意 乘积 都 可 产生 一 个 循环 码 。 
实际 上 , 1 十 X” 三 (1 十 X) (1 十 XX 十 … 十 XN 1!); g(X=14+X 生成 了 奇偶 校 验 码 ， 
g(X) 二 1 十 X 十 … 十 X” "生成 了 重复 码 。 在 Hamming 码 [7，4] 中 ,经 过 检验 ， 生 成 多 项 
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式 为 g(X) 王 1 十 X 十 X3 。 

校 验 多 项 式 几 CXD) 等 于 (1 十 XY)Vg(CX) 。 实 际 上 ， 对 所 有 的 a OER, alX)h(X)= 
v(X) g(X)h(X) =v(X) (1+ XX) =0 mod (1 +X), FAR, WMF a(X)ACX) =0(X) (1 十 
XN)， 根 据 不 可 约 分 解 的 唯一 性 ，&a(CX) 必 定 具 有 v(X)g(X) 的 形式 。 

陪 集 y 十 必 和 余 数 y(X) 二 wu(X)modg(X) 是 一 一 对 应 的 。 换 言 之 ， 两 个 码 字 yy 和 yy 属 
于 相同 的 陪 集 当 且 仅 当 在 除法 表达 式 中 ， 

y? CX) KI g(X) Hu? (R= 2 wo CX) = a (X) 
KRE, yO 和 y” 属于 相同 的 陪 集 当 上 且 仅 当 y” 十 y ER. KER u” XO) =u? (X)=0, 
BD uu? (X)=u (X), 


如 果 我 们 写 出 AX) = uhysX! ， 则 点 积 为 


5 h ra ile t= 0N 
ere 1g, Le een 


于 是 ; (g(X) + h+(X))=0, HPAL CMH taaXte+hX. 因此， 对 于 多 的 奇偶 
WEEE H ITH h=hh iho 的 循环 移 位 而 形成 。 重 复 码 和 奇偶 校 验 码 的 校 验 多 
项 式 分 别 为 1 十 X 和 1 十 X 十 心 十 XY 1 ， 且 它们 互 为 对 偶 。 经 过 检验 ，Hamming #7, 4] 
的 校 验 多 项 式 等 于 1 十 X 十 X +X", 
问题 2. 2 (a) 根据 半径 为 d 的 NN 维 Hamming 球 的 体积 vw(d)， 证 明 二 元 [LN，dj 码 大 小 
的 Hamming 和 Gilbert-Varshamov 界 。 
假设 对 于 一 些 固定 的 AE(0，1/4) 的 最 小 距离 为 L AN I. ERN, LAN |) 4 #62) ELAN | 
个 错误 的 任意 二 元 码 的 最 大 信息 速率 。 证 明 
I — wt < lim inf a(N,L AN D< lim sup aN ALAN DlA (2.6.1) 
(b) RE RECO, 1), FRMRAMBERREKBAN 的 信息 集合 Un 中 的 一 个 信息 ， 
其 大 小 为 #UN 王 20&。 该 信息 通过 一 个 错误 概率 p<l/2 的 MBSC 信道 ， 所 以 我 们 预计 有 
PN 个 错误 。 根 据 (a) 中 的 渐 近 边界 ， 对 于 大 的 N 值 ， 户 取 何 值 时 我 们 能 纠正 PN 个 错误 ? 
解答 a) MRM HAN x, YeLAxAy, A Be, ENB, =O, RCH 被 称 


为 能 纠正 已 个 错误 的 编码 。 对 于 大 小 为 M， 距 离 为 4， 纠 正 E= | 个 错误 的 编码 ， 其 


Hamming 界 如 下 。 每 个 码 字 的 半径 为 EE 的 球 是 互 不 相交 的 : 它们 的 总 体积 等 于 MX 
vn(E)。 但 它们 的 并 集 位 于 F2> 内 ， 因 此 M<2 /vn(E)。 
在 另 一 方面 ， 取 一 个 大 小 为 # 有 外 的 五 纠 错 码 .和 ， 则 不 存在 编码 使 得 
yE FY\ Urea B(x, 2E+1) 
或 者 我 们 可 以 给 多 ”增加 一 个 这 样 的 码 字 ， 增 加 其 大 小 同时 保留 纠 错 的 性 质 。 由 于 每 个 码 
字 y€E F2 与 这 个 码 字 的 距离 小 于 4 一 1， 我 们 可 以 将 了 加 入 此 编码 中 。 因 此 ， 半 径 为 4 一 1 
的 球 包 含 了 整个 FY， 即 MXwn(d 一 1) 宇 2* ,或 者 
M > 2" /vy (d — 1) (Varshamoy-Gilbert 界 ) 
对 于 a(N, E)=(og#2)/N, Bie ice Fwy Sh 
loguy (CE + 1) 
N 

















1 





<a(N,E) < 1— PED 


注意 到 对 于 任意 ;过 kN 并且 0 二 x 二 1/2 


244 
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因此 ， 


> (755) 


j=0 





现在 ， 根 据 Stirling Ast, BARN, E>o E/N>a€ (0, 1/4) 





N 
< uy (E) < E 





ETES 
N Elp > 9A 


所 以 ,我们 证 明了 lim Slog wy (LAND =A), FH 


£ des ! MEE: pey 
L= (ANS lim inf NilogM < lim sup N 28M < 1 7( 2 ) 


Cb) 如 果 最 小 距离 4 满足 [< 二 pN， 即 4/2 宇 p， 我 们 可 以 纠正 pN MAR. AHN 


近 Hamming 界 我 们 得 到 R<1 一 p(X4/2) 志 1 一 p(Bp)。 所 以 ， 如果 pK (1 一 R)， 可 靠 传输 
是 可 能 实现 的 。 
Shannon SCT 谈 到 : 
无 记忆 信道 的 容量 C 一 sup I(X:Y) 


其 中 TICX: Y) 二 A(Y) 一 h(Y|X) 为 信道 单 符号 随机 输入 和 输出 的 互信 息 ， 在 输入 字符 X 的 
整个 分 布 中 取 最 大 值 。 对 于 一 个 错误 概率 为 p A MBSC, RER hY IXY EF yp). TE 
C= suph(Y) — 7(p) 


通过 使 用 等 概率 分 布 的 输入 XCR Y 也 是 ) 可 以 使 h(Y) 取 到 最 大 值 。 因 此 ， 对 于 MBSC, 
C 二 1 一 py(p)。 于 是 ， 借 助 于 MBSC, 满足 R1 一 n(p)， 即 PK (1 一 R)， 可 靠 传输 是 可 
能 的 。 这 两 个 证 明 给 出 了 相同 的 答案 。 图 
问题 2.3 证 明 由 gC(X) 二 1 十 XX 十 X; 十 Xi 十 X' 十 XX ?十 X11 生 成 的 长 度 为 23 的 三 元 码 的 最 
小 距离 为 7， 并 且 是 完美 的 。 提示: 注意 到 根据 BCH 界 ( 定 理 2.5.39)， 如 果 一 个 循环 码 
的 生成 多 项 式 有 根 {w，w:，…，w |}, MBBS, RH X” 十 1 三 (X 十 1)g(X)g™(X) 
mod 2, # g™(X)=X"g(1/X) HF g(X) HH, 
解答 ”首先 证 明 该 码 为 码 距 等 于 5 的 BCH 码 。 回 忆 如 果 o 为 多 项 式 pOCKLZ INR, 
WW ws wi, ws ow, ws ws ww ，w* 也 是 它 的 根 。 这 导出 了 设计 序列 {w，w， 
w”，w'}。 根 据 BCH 定理 ， 码 字 必 = 二 (g(X)) 的 码 距 宇 5。 

接 下 来 ， 奇 偶 校 验 扩展 9 是 自 正 交 的 。 为 了 验证 这 点 ， 我 们 需要 证 明 ， 儿 ”的 生成 
矩阵 任意 两 列 是 正 交 的 。 它 们 被 表示 为 

(X'ig(X)|1) f (Xig(X)|D 

并 且 它 们 的 点 积 为 


1+ (Xig QO) (Xig (XY). = 14 SD gai Hh Dy 
一 1 十 在 g(X) X g™(X) E X" 的 系数 
ee 


1 
Hente 


=1+1=0 
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所 以 
多 ”中 的 任意 两 个 码 字 是 点 正 交 的 (2. 6. 2) 
AAH 中 所 有 码 字 的 码 重 可 被 4 整除 。 实 际 上 ， 根 据 检 验 ，. 和 ”的 生成 矩阵 所 有 行 
CXg(X)11) 的 码 重 为 8。 那么 ， 根据 和 式 中 包含 的 行 数 导出 ， 如 果 ceE 和 Me”? ~ 
CXg(X) 11) 为 2 的 生成 矩阵 的 行 ， 则 
wg +e) = w(g) + wle) —2wle Ac) 
其 中 (g Ac), =min[(g),, co], 151, =, 24. RNG 8|wle AMSA MBE, 4| 
we), HEH, we’ 人 ec) 为 偶数 ， 于 是 2wle Ac) eR 4 ER. FH, LRHAM, 
wg 人 ec) 能 被 4 除 。 因 此 ， 履 ”的 码 距 为 8， 因为 它 宇 5 并 能 被 4 整除 。( 很 明显 ， 它 不 
可 能 大 于 8， 否 则 它 的 值 将 是 12。.) 于 是 ， 原 码 .& 的 码 距 为 7。 
最 后 ， 码 多 是 一 个 完美 的 纠 3 个 错误 的 编码 ， 由 于 F2 中 3 球 的 体积 等 于 


23 23 23 23 
EAS f |+ an 国电 T23253 ITI = 2048 = 2" 


并 且 2% X2"=2%, Alt, 很 明显 ， 秩 为 12， 长 度 为 23。 回 
问题 2. 4 证明 校 验 多 项 式 为 X HX EXHI 的 Hamming 码 为 循环 码 。 它 的 生成 多 项 式 是 
$Y? Hamming 原 码 是 否 包 含 等 于 它 对 偶 的 子 码 ? 假设 不 可 约 单调 多 项 式 Mi (X) 分 解 如 下 


L 
x" +1= [[M; (x4 (2. 6. 3) 
j=l 


证 明 循 环 码 的 码 长 N 二 [[ +). 


解答 ”在 Fz 中 我 们 有 

RP CN 
生成 多 项 式 为 ag(X) 王 X* 十 X 十 1 的 循环 码 的 校 验 多 项 式 为 h(X) 三 X' 十 X’ 十 X 十 1。 奇 侦 
校 验 矩阵 为 


(2. 6. 4) 








OF Q Or dh 
该 矩阵 的 列 为 了 ; 中 的 非 零 元 素 。 所 以 ， 这 等 价 于 Hamming 原始 码 L7，4] 。 

Hamming[7，4j] 码 的 对 偶 的 生成 多 项 式 为 X HX +X? +1 CB ACX). AF Xt + 
2 十 X2 十 1 一 (X 十 1)g(CX)， 它 为 Hamming BHT. 


最 后 ， 任 意 不 可 约 多 项 式 M;(X) 都 可 能 包含 在 一 个 为 循环 码 的 生成 多 项 式 中 ， 其 能 
量 为 0;，…，k;。 所 以 ,构建 这 种 生成 多 项 式 的 概率 数 等 于 I GC; + 口 


问题 2.5 描述 Reed-Muller 码 的 构造 。 推 出 它 的 信息 率 和 码 距 。 
解答 F Sl pA N=? +A. MRACH, 令 14 为 A 的 示 性 函数 。 考 虑 如 下 超 平 面 
的 集合 
II = {pe Fr:p; = 0) 
Ghin j=l m m WAL TS, ELBE FR, 
A, = th}, 
BD, = th’ 37 =1,2,-+,m}, 


247 


[248] 





249 
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A» == {hi s hi zisj = De Sahih 
Bis = la» hia E Ay sj = 1525 ,m,h’ fa}, 


Dn = khh”) 
这 些 集合 的 并 集 的 势 为 N=2" (HA 2" ARAO. MA, RAUA: 的 函数 可 以 被 当 
RF) 的 一 组 基 。 
RE, KE N=2" Reed-Muller 码 RM(r, m= 2. WHEL HUL oe, 的 张 成 ， 秩 
m 


o>) ("| 。 其 信息 率 为 


[| 


接 下 来 ， 如 果 aE RM(r，m)， 则 对 于 一 些 xERM(m 一 1, 7) 和 yERM(m 一 1, r—1), A 
a= (yy)h’ + (x,x) = (x. x+y) 
AK, RM(r, m)+5 Descartes FA(RM(m—1, r)|RM(m—1, rr 一 1)) 相 同 。 根 据 Descartes 
积 界 
dLRM(m,k) |] > min(2d[ RM(m—1,k)],d RM(m—1,k— 1) ]) 
经 过 归纳 ， 推 导出 
dLRM(r,m) | > 2" 
AT, WE h + heeh” SRR RM(m, 7) 为 2”"。 因 此 ， 
d[RM(r,m) ] = 2r 
问题 2.6 (a) CLARE 中 长 度 为 N 的 奇偶 校 验 码 。 证 明 编 码 是 线性 的 当 且 仅 当 它 是 奇 
偶 校 验 码 。 根 据 奇 偶 校 验 来 定义 原始 Hamming 码 并 找 出 它 的 生成 矩阵 。 
(b) 令 多 为 循环 码 。 定 义 对 偶 码 














U 三 二 ya yn Dy TY: =0, 对 所 有 的 xx 三 Tim…zNE K)? 


ERAK AGRBHRAL 和. 色 上 的 生成 多 项 式 是 如 何 相互 关联 的 。 说 明 重 复 码 和 奇偶 校 
验 码 是 循环 的 ， 并 确定 它们 的 生成 多 项 式 。 
解答 。 (a)( 非 必要 线性 ) 编 码 久 的 奇偶 校 验 码 V 为 向 量 y 二 yy…yw€ 隐 的 集合 使 得 点 积 


N 
yex= X ry: =0ERF E); APAR xe Harn CL 
i=] 


MENRE, RHEL “也 是 多 的 奇偶 校 验 码 ， 它 是 由 线性 码 光 : K =LORRK. X 
mE, WẸ ys x=0 H y. x =0 W y. (xt+x=0, Ale, HERRES 始终 为 线性 
的 ， 且 形成 了 一 个 对 儿 点 正 交 的 子 空间 。 因 此 ， 给 定 的 码 字 . 多 为 线性 的 当 且 仅 当 它 为 奇偶 
校 验 码 。 线 性 码 多 和 多 ”形成 了 一 个 对 偶 对 : VBL MMH, RIK. K OA 
MH EQ WAR REM, RAR. 
长 度 为 N=2'—1 的 Hamming 码 的 校 验 矩 阵 是 一 个 2X N 的 矩阵 ， 所 有 非 零 列 都 来 自 
Fl( 在 某 些 约定 好 的 排序 情况 下 )。 所 以 ，Hamming[7，4] 码 对 应 /=3; 它 的 奇偶 校 验 是 
Tı FH T + 25 + 2x7 =0, 
Xo zat ti tar, = 0, 
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Xa Hrs Eze +z, = 0 
生成 矩阵 是 


] 
0 
0 


oF ke 
= = OC 
= O = 


0 
1 
0 


= oO oO 
DA ©& 


(eae ho i e 1 

Cb) 对 偶 码 的 生成 多 项 式 是 g++(X) 二 X”'g(X ')。 重 复 码 有 g(X) 二 1 十 六 十 … 十 
X"!， 并 且 秩 为 1。 奇偶 校 验 码 g(CX) 王 1 十 X， 并 且 秩 为 N 一 1。 Oo 
问题 2.7 (a) 当 错误 率 pH l/2H, MBRMw ile A? 

(b) 给 出 一 个 不 是 线性 码 的 例子 。 

(c) 给 出 一 个 不 是 循环 码 的 线性 码 例子 。 

(d) 定义 一 个 三 进 制 Hamming 码 和 它 的 对 偶 。 证 明 Hamming 码 是 完美 的 。 解 释 为 什 
么 Hamming 码 不 能 纠正 两 个 错误 。 

(e) 证 明 在 对 偶 码 中 有 : 

O 任意 非 零 码 字 的 码 重 等 于 2“ '。 

Gi) 任何 一 对 码 字 的 距离 是 2 和 。 
解答 (a) 如 果 p>1/2, 我们 保留 输出 结果 使 得 p'=1—p. 

b) 满足 三 (11) 的 码 和 所 了 TEREK, BAOEK. 

(c) WEL =(00, 10;}WMACK; 是 线性 的 , 但 是 不 是 循环 的 ， 因 为 01 和 人 和。 

(d) 初始 Hamming[7，4] 码 距离 为 3， 是 完美 的 纠正 1 个 错误 的 编码 。 所 以 ， 码 字 中 
有 两 个 错误 的 会 导致 码 字 落 在 半径 为 1 的 球 外 ， 即 ， 对 于 一 个 不 同 码 字 会 落 到 半径 为 1 的 
球 上 (最 近 的 距离 是 1， 距 初始 码 字 的 距离 是 2)。 所 以 ， 我们 可 以 检测 到 两 个 错误 但 是 却 
不 能 纠正 它们 。 

(e) Hamming[2“!，2 和 一 l 一 1]，3j] 码 的 对 偶 是 线性 的 ， 长 度 是 N=2'-1, RAC E 
的 生成 矩阵 是 ZX (2 一 1)， 其 中 列 给 出 了 的 全 部 非 零 向 量 ( 初 始 码 的 奇偶 校 验 矩阵)。 和 矩阵 
的 行 是 线性 独立 的 ; 此 外 ， 任 何 行 到 1，…，2 都 有 2 一 1 个 数字 1。 这 是 因为 每 个 这 样 的 
数字 都 来 源 于 一 列 ， 也 就 是 说 ， 一 个 长 度 为 4 的 非 零 向 量 ， 其 中 数字 1 在 位 置 i 上; 严格 
地 说 ， 有 2 :个 这 样 的 向 量 。 虽 然 任何 一 对 矩阵 的 列 都 是 线性 独立 的 ， 但 是 列 的 三 元 组 是 
线性 相关 的 (每 对 列 通过 它们 的 和 来 补充 ) 。 

每 一 个 非 零 对 偶 码 字 x 都 是 上 面 生 成 矩阵 的 行 和 。 假 定 这 些 被 加 数 是 行 i ，…， i,， 
其 中 1 过 … 过 i,l。 那 么 ， 正 如 前 文 所 示 ， 和 中 数字 1 的 数量 等 于 这 个 矩阵 的 列 数 ， 
因为 数字 站，…， 的 和 是 1。 在 剩余 的 《一 s 个 数字 ， 我 们 没有 限制 ， 所 以 对 于 它们 来 
说 ， 还 有 2 乞 ' 种 可 能 。 对 于 数字 五 ，…, i, RMA 2 一 种 可 能 (总 数 2 的 一 半 )。 所 以 ， 
又 有 2X2 =20, 

我 们 证 明了 每 一 个 非 零 对 侦 码 字 的 码 重 等 于 2 。 即 ， 从 零 向 量 到 任何 对 偶 码 字 的 距 
离 是 2 所 。 因 为 对 偶 码 是 线性 的 ， 所 以 任何 一 对 不 同 的 对 偶 码 字 x，x' 间 的 距离 等 于 2: 

elx, x) = 80, x — x) = wlx— x') = 261 


SIC, os OAR AT NRE 


eS die? 
i€J 
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那么 x 中 非 零 数字 的 8(0，xz) 王 # 可 以 被 计算 为 
2- |7| x (F# KCI & #(#4|K| AFH) 


4 
JAR 0 fo 1 wh + 得 到 >)zi 一 1 对 2 求 余数 的 # 
LE 了 
其 中 Xi 三 0 或 1 
由 此 推出 ll l= =A 。 换 名 话说 ,为 了 从 一 个 数字 zx = De? 中 得 到 一 个 贡献 ， 
ie] 


我 们 必须 确定 (D0 和 1 在 {1，…，Z}\ J 了 中 的 配置 (因为 它 是 一 个 长 度 为 N 的 非 零 向 量 的 
一 部 分 )，(Gii)0 和 1 在 J 中 的 配置 其 中 1 的 个 数 是 奇数 。 


为 了 验证 2" )= 2 ， 它 足以 证 实 零 码 字 和 任何 其 他 码 字 rEZ" 的 距离 等 于 
IR 回 
问题 2.8 (a) FRA g( 义 ) 成 为 一 个 长 度 为 N 的 循环 码 生 成 多 项 式 的 充 要 条 件 是 什么 ? 
什么 是 BCH 码 ? 证 明 关 于 {w，w’) 的 BCH 码 是 Hamming 初始 码 ， 其 中 中 是 在 适当 域 中 
X3s 十 X 十 1 的 根 。 

(b) 定义 和 估算 Vandermonde 行列 式 。 定 义 BCH 码 并 获得 它 的 最 小 距离 的 范围 。 
解答 (a) g X) MAKEN N 的 循环 码 生 成 多 项 式 的 充 要 条 件 是 g(X)1(X*N 一 1)。 生 成 
多 项 式 g(X) 可 能 是 不 可 约 的 ， 也 可 能 是 可 约 的 ; 在 后 一 种 情况 中 ， 通 过 它 不 可 约 因 子 的 
乘积 g(X) 二 Mi(X)…M(X) 来 表示 ， 其 中 kd 二 degg。 令 ;是 使 N |2’ 一 1 成 立 的 最 小 
数 。 那 么 g(X) 可 以 在 域 K 一 二 本 中 被 因 式 分 解 为 一 阶 单项 式 ，&(X) 一 在 CX 一 w)， 其 
Hor, +, oR GARR /DMKF g 的 分 裂 域 ， 但 是 这 不 是 必要 的 。] 每 一 个 元 素 o 
都 是 g(X) 的 一 个 根 ， 并 且 也 是 它 的 不 可 约 因 子 Mi1(X)，…，Mi (XX) 的 至 少 一 个 根 。[ 更 
准确 地 说 ， 每 一 个 M;(X) 都 是 一 个 前 面 一 阶 单项 式 的 子 积 。] 

我 们 想 选 择 一 个 根 在 os oo, a EC 及 上 的 定义 集 D: 对 于 每 一 个 因子 M;(X)， 它 是 一 
个 至 少 包含 一 个 根 w 的 集合 。 它 自然 地 倾向 于 采用 最 小 定义 集 ， 其 中 每 个 非 可 约 因 子 用 
一 个 根来 表示 ， 但 是 这 个 集合 也 许 不 容易 严格 描述 。 很 明显 ， 定 义 集合 的 势 | 也 | 是 在 & 和 
d 之 间 的 。 形 成 DD 的 根 都 来 源 于 域 K， 但 事实 上 ， 也 有 一 些 来 自 于 包含 所 有 wo; HF RK'C 
K. (4, FCK’ 。] 那 么 ， 我们 可 以 识别 由 g(X) 生 成 的 循环 码 ， 其 多 项 式 集合 

{f(X) € FLXI/(X*—-1): fw) =0, 对 所 有 的 weED) 
尼 可 以 认为 是 一 个 关于 根 ( 或 零 ) 的 定义 集 D 的 循环 码 。 

b) 长 度 为 N、 设 计 距 离 为 6 的 二 元 BCH 码 是 一 个 循环 码 ， 其 典型 集 为 w w’ s 
o, HF 6<N 并 且 w 是 第 NN 个 主 单位 根 ， 满 足 w 二 1。 值 得 注意 的 是 ， 如 果 w 是 多 项 式 
p(X) 的 一 个 根 ， 那么 a, +, o® | tH. BRB NBM a, os oo, wo SEE, R 
们 对 上 面 的 二 进 制 序列 进 行 “ 补 空 "， 并 生成 一 个 理想 多 项 式 ， 它 的 特性 可 以 被 分 析 研 究 。 

最 简单 的 例子 是 当 N=7 A D={o, wht, EP oÆ X+X+1 的 根 。 这 里 ，w = 
wY w= lotl ww +o=1, Uo 是 第 七 个 单位 根 。[ 我 们 用 到 了 特征 值 为 2 的 结论 。] 

事实 上 ， 它 是 一 个 本 原 根 。 所 以 ， 像 刚才 说 的 ，w* 是 XX 十 XX 十 1 的 一 个 根 ，Xs 十 和 十 
1: Ww) ta tl lw tot S, 还 有 wo 也 是 。 那 么 关于 定义 集 {w，w}) 的 循环 码 生 
成 多 项 式 为 对 十 X 十 1， 因 为 这 个 多 项 式 所 有 的 根 都 被 使 用 了 。 我 们 知道 它 和 Hamming 
[7，4j 码 相同 。 

Vandermonde 行列 式 是 
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A = det 


Mt 一 1 


oi za tae Es 
可 以 观察 到 ， 如 果 rr GA), 行列 式 就 等 于 0( 两 行 是 一 样 的 )。 所 以 xz; 一 zx; 是 A 的 一 
SAF. 


A= PG) |] Ga) 
HP PERE x, +, x, 的 一 个 多 项 式 。 现在 考虑 中 具有 形 如 7” 的 和 中 关于 展开 式 
AWM, HH Um) =0+14+-++™—-D=n—-1)/2, 但 是 Il 三 元》 fea] 27° 的 和 ， 


其 中 mC 让 二 n(n 一 1)/2， 所 以 P(z) 是 常数 ， 考 虑 到 rri + 我 们 可 得 常数 为 1， 所 以 
a= [c =z;) (2. 6.5) 


假定 入 是 奇数 ，K 是 一 个 包含 F 的 域 ， 其 中 X" 一 1 可 以 因 式 分 解 成 线性 因子 。[ 这 个 域 
WE H Fr , 其 中 N| 2 一 1 由 码 字 C= Coc, * “cn-1 组 成 的 循环 码 被 称 作 设计 距离 6 志和 的 


BCH 人 码 ， 其 中 对 于 所 有 的 r=l, 人 preg 6 一 1 都 有 Dew" 一 0， w 是 一 个 第 NN 个 本 原单 
位 根 。 接 下 来 ，& “是 一 个 在 杷 上 的 向 量 空间 ， 并 且 cE ， 当 且 仅 当 


cH’? = 0 (2. 6. 6) 
其 中 
1 2 N-1 
1 2 4 wn? 
H= |1 w w esi gone Ga. G10 
low! gt af gh Vow 


现在 rankH 二 8。 的 确 ， 根 据 (2. 6. 5) ， 对 于 任何 oxo WTA 

det H = [| — ai) £0 

i<j 

所 以 式 (2. 6.6) 告 诉 我 们 

cE Kei’, el 
MA, “中 的 最 小 距离 大 于 等 于 6。 口 
问题 2.9 如 果 一 个 Hamming 空间 {0，1)” HFK, HHB=M, Akh Hamming 
距离 是 d 二 min[6(x， x): XxX，X' EF ，x 关 x ]， 那 么 这 个 子 集 被 称 为 [NN，M，dj 码 (不 一 
定 线性 ) 。 如 果 一 个 LN，M，d] 码 不 被 包含 在 任何 LN，M 二 1，dj] 码 内 ， 那 么 就 被 称 为 最 
大 码 。 证 明 一 个 [N，M， dj] 码 当 且 仅 当 对 于 任意 yE{0，1}> 都 存在 LER Ax, y)<d 
成 立时 是 最 大 码 。 结 论 : 如 果 在 一 个 码 字 中 发 生 d 个 或 更 多 改变 时 ， 那 么 新 码 字 比 初始 码 
字 更 接近 于 某 些 其 他 的 码 字 。 

假定 一 个 最 大 LN，M， 中 码 被 用 在 通过 二 元 无 记忆 信道 传输 信息 ， 错 误 率 为 Pp, HH 
接收 端 用 最 大 似 然 译 码 器 。 证 明 错误 译 码 的 概率 x 站 服从 下 面 的 界 
1—8(N,d—1) Sar <1—8(N tad — 19/2 )D 
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其 中 5(N，m) 是 一 个 部 分 二 项 式 和 


N 
b(N,m) = >) | jr a-p 


解答 如果 一 个 码 是 最 大 码 ， 那 么 再 添加 一 个 码 字 将 减 小 距离 。 因 此 ， 对 于 所 有 y 都 存在 
xE 虽 使 得 6(x，y) 二 d。 相 反 ， 如 果 这 个 性 质 成 立 ， 那 么 码 只 有 在 减 小 4 时 才 可 扩展 。 那 
么 在 码 字 中 产生 4 个 或 更 多 个 可 以 给 出 一 个 更 加 靠近 不 同 码 字 的 字 。 这 肯定 不 会 在 ML 译 
码 下 给 出 一 个 正确 的 推测 ， 因 为 它 选 择 了 最 近 的 码 字 。 

因此 ， 


N 
nce | |p" a— py ANd- 


在 男 一 方面 ， 此 码 纠正 了 L(d 一 1)/2J」 个 错误 。 所 以 
ter <= UFAN d = 1/2.) o 


问题 2. 10 FEN, M, d]=A4, Plotkin 界 表明 如 果 d>N/2, RAA M4 
一 个 码 的 长 度 是 N、 距 离 是 d， 令 M; (N，d) 为 该 码 的 最 大 数量 ， 并 令 
a AY = lim ClogM CN AN D 
N= N 


do ae 


AK Plotkin 界 推 出 ， 对 于 SSA a(A)=0. 
假定 上 述 的 界 成 立 ， 证 明 如 果 d<N/2, MBA 


N-(2d-1) d = N-(2d-1) 
M Sit did ue 2 


423] Hit Plotkin R: a(A)<1—2a, 0<4<5. 


解答 ”如 果 d>N/2, MH Plotkin 界 并 且 得 到 aA) =0., WR dg 委 N/2， 按 照 最 后 N 一 
(2d 一 1) 个 数字 ， 考 虑 长 度 为 N、 距 离 为 d 二 N/2 的 码 .多 的 分 割 ， 也 就 是 说 ， 将 多 分 割 为 
不 相交 的 子 集 ， 最 后 的 N 一 (2d 一 1) 个 数字 不 变 。 作 为 这 些 子 集 之 一 的 %W'， 其 大 小 一 定 是 
M' 使 得 M’'2N-@4-D >M, 

PU, B'FE—SKREW N'=(2d—-1), EBH d'=d WH, Hep d'>N'/2. ¥& Plot- 
kin 界 应 用 到 .9% 中， 得 到 
d! d 
M nd EET T A 
因此 

M< 2N-(24-0 99 

&d=|AN ], 4 N>oo, DUBS aA<1—2a, 0<A<1/2. 口 
问题 2. 11 论述 和 证 明 Hamming, Singleton 和 Gilbert-Varshamov 界 。 给 出 (a) 一 个 可 以 
到 达 Hamming 距离 的 例子 ; (b) 可 以 到 达 Singleton 界 的 例子 。 


解答 Hamming 界 给 出 了 一 个 长 度 为 N、 大 小 为 M 的 EE- 纠 错 编 码 ， 


N 
其 中 ow(E) N 入 是 EE- 球 在 Hamming 空间 {0，1)* 中 的 体积 。 它 遵循 这 样 的 事实 ， 
t 


0OSi<E 
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关于 码 字 xe Vi) E- 球 一 定 是 不 相交 的 : 
MX w(E)= # M 巨 =- 球 覆盖 的 点 
<2" = # £(0,1}" 上 的 点 
Singleton 界 是 长 度 为 N 的 码 和 多 的 大 小 M 和 距离 满足 
M < 2N-4 
上 上面 的 结论 可 由 下 面 的 观察 得 出 ， 截 断 儿 (5 即 ， 从 码 字 xe 多 中 删除 一 个 数字 )4 一 1 次 仍 
然 无 法 合并 码 字 ( 即 保留 M) 而 最 后 的 码 字 适 合 {0，1)> 1 。 
Gilbert-Varshamov 界 是 指 二 元 LN，dj] 码 的 最 大 尺寸 M* =M; (N, dE 
M > ap 
这 个 界 服从 如 下 的 观察 : 对 于 最 大 尺寸 编码 4& ， 任 何 码 字 ye (0, 1}% 一 定 距离 <d 一 1。 
所 以 
M* Xwd-lD># 在 距离 d 一 1 二 2” 中 的 点 
达到 Hamming 界 的 码 被 称 为 完美 码 ， 比 如 ，Hamming[2: 一 1，2: 一 1 一 上 ，3] 码 。 这 里 ， 
E=1, vw(1) 二 1 十 2 一 1=2/，M 二 2*- 咎 !。 除 了 这 些 码 ， 只 有 一 个 (二 元 ) 完 美 码 的 例子 ， 
Golay|23, 12, 7]#. 
达到 Singleton 界 的 码 被 称 为 最 大 距离 可 分 离 (MDS) 码 : EMR AER 六 一 
M 行 线性 独立 。 这 种 码 的 例子 是 (D) 整 个 (0，1)x，(ii) 重 复 码 {0…0，1…1)} 以 及 所 有 偶 码 
的 重 码 字 xE {0，1)” 的 集合 。 事 实 上， 这 就 是 二 元 MDS 码 的 所 有 例子 。 更 多 有 趣 的 例子 
将 由 非 二 进 制 的 Reed-Solomon 码 给 出 ; 见 3.2 节 。 达 到 Gilbert-Varshamov 界 的 、 具 有 一 般 
N 和 的 二 元 码 到 目前 为 止 还 没有 被 构造 出 来 (虽然 针对 非 二 元 字母 表 已 经 构造 出 来 了 )。 O 
问题 2. 12 (a) 请 用 Hamming 初始 码 作 为 你 的 例子 ， 解 释 纠 错 码 对 于 电脑 工程 师 的 存在 
性 和 重要 性 。 ` 
(b) Æ Hamming 码 中 码 重 分 别 为 1、2、3、4、5 的 有 多 少 个 码 字 ? 
解答 (a) 考虑 一 个 形 如 (2. 6.4) 的 矩阵 吾 给 出 的 线性 映射 了 一 下 Hamming BPR 
kerH， 即 满足 xH*=0 的 码 字 x 二 zx zox3T4zszxexr E10，1) 的 集合 。 这 里 ， 我 们 可 以 选 
择 四 个 数字 x,，zs，Zzs，zxr+， 从 {0，1} 中 任 选 ; 那么 zx: ，za，<zs 可 以 通过 下 式 得 到 : 
xı = ty Hrs Hz 
Za 三 -Th H xe H£ 
Za = L5 H Ts F 17 
它 意 味 着 码 光 可 以 被 用 来 编码 长 度 为 4 的 16 个 二 进 制 “信息 ”。 如 果 y= yi yey Y Ys Ysy 
在 一 个 位 置 上 不 同 于 码 字 x*E4， 也 就 是 y=xte,, 那么 等 式 yH "二 exH" 给 出 了 一 个 数 
字 & 的 二 元 分 解 ， 它 用 来 解码 x。 因 此 ， 码 恼人 允许 出 现 一 个 可 以 被 纠正 的 错误 。 
假定 任何 数字 的 错误 概率 是 p<1， 独 立 于 其 他 符号 。 那 么 在 传送 一 个 非 编 码 (4N)- 符 
号 信息 时 的 错误 概率 是 
1—€1—p)) = Np 
但 是 使 用 Hamming 码 时 我 们 需要 发 送 7N 个 符号 。 一 个 错误 传输 需要 至 少 有 两 个 错误 数 
字 ， 它 的 概率 是 


rh N 
x1— i- 四 加 = 21Np* < 4Np 
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所 以 ,在 Hamming 码 中 额外 使 用 3 个 校 验 数字 是 合理 的 。 
(b) 由 二 进 制 码 字 x= Fi °° IN 组 成 的 ， 长 度 为 N= 二 2 一 1(l 三 3) 的 码 必 ,i 满足 
xH'=0, 其 中 HH 是 一 TE 它 的 列 AM, =, AN 全 是 长 度 为 7 的 非 零 二 进 制 向 


量 。 所 以 ， 码 重 为 w(x) = De 三 的 码 字 数量 等 于 s 个 二 元 ， 非 零 ， 逐 点 不 等 且 和 为 0 


的 刀 -向 量 的 集合 数 。 事 实 上 ， 如 果 x? = 0. weeds A ta E O ET LAAT 
量 的 和 Pi eHh 一 0。 
因此 ， 码 重 是 0 的 有 一 个 码 字 ， 没 有 码 重 是 1 或 2 的 码 字 ， 码 重 是 3 的 有 NN(N 一 1)/3 
个 。( 即 ， 对 于 /二 3 A154, BEE 3 的 分 别 有 7 和 35 个 码 字 )。 进 一 步 我 们 可 以 找到 码 
重 是 4 的 有 [N(N 一 1)(N 一 2) 一 NC(N 一 1)]/41 =NCN—-1)(N—3)/4! 个 ( 即 ， 对 于 Z=3 
和 《二 4， 码 重 是 4 的 分 别 有 7 和 105 个 码 字 )。 最 后 ， 我 们 有 码 重 是 5 的 有 NN(N 一 1)(N 一 
2)(N—7)/5! 个 ( 即 ， 对 于 =3 和 《= 二 4， 码 重 是 5 的 分 别 有 0 和 168 个 )。 每 当 我 们 增加 
一 个 因子 的 时 候 ， 我 们 应 该 避免 4 -向 量 等 于 先前 所 选 向 量 的 线性 组 合 。 在 问题 3. 9 中 ， 
我 们 将 计算 对 于 N=15 时 的 枚 举 多 项 式 : 
1+35X* + 105X* 十 168X5 + 280X* 十 435X7 十 435X8 
十 280X? + 168X" + 105X"™ + 35x" + X" 口 
isda 13 (a) =H Hamming 2 A a EHn 中 向 量 xX，y 的 点 积 被 定义 为 xXx。y 一 


Dy mod 2) , 并 且 如 果 xs y=0, AMA x Foy RERH. MAHRCAy 是 一 个 满 


足 生成 矩阵 为 G、 奇偶 校 验 矩阵 为 耳 的 线性 LN， 上 | 码 意 味 着 什么 ?证明 
= {x E Zon:x° *y=0, 对 所 有 的 了 E B} 
是 一 个 线性 LN，N 一 个 码 ， 并 且 找 出 它 的 生成 多 项 式 和 奇偶 校 验 矩阵 。 

(b) 如 果 线 性 码 .多 满足 光一 和  ， 那 么 称 光 是 自 正 交 的。 证 明 如 果 G 的 行 是 自 正 交 和 
两 两 正 交 的， 那么 多 是 自 正 交 的 。 如 果 儿 = 和 光 - ， 那 么 称 线 性 码 是 自 对 偶 的 。 证 明 自 对 偶 
码 一 定 是 LN，N/2J 码 (因此 N 一 定 为 偶数 )。 相 反 ， 证 明 一 个 自 正 交 LN，NV2] 码 当 N 为 
偶数 时 是 自 对 偶 的 。 请 给 出 对 于 任意 偶数 N 时 这 种 码 的 例子 ， 并 证 明 一 个 自 对 偶 码 总 是 
包含 字符 ll. 

(c) 现在 考虑 一 个 Hamming[2‘—1, 2—41] BX ne HRM AAA MBE. TEA 
BEL LWA SSF 2, 
解答 “通过 定义 可 知 ， 多 ”在 线性 变化 下 保持 不 变 ; 所 以 多- 是 一 个 线性 码 。 从 代数 的 角 
度 考 虑 ，dim Z =N—k, K` 的 生成 矩阵 C+ 和 互相 同 ， 奇 偶 校 验 矩阵 He 和 G 相同 。 

MRECR™, MARE GHT g”, e, gO EHEZ, E eht E A P E 
反之 亦 然 。 从 前 面 的 观察 中 可 以 看 出 ， 如 果 允 是 自 对 偶 的 ， 那 么 &= 和 一 上 ， 即 R=N/2, 
并 且 N 应 该 是 偶数 。 相 似 地 ， ek, ae Eea og N/2, MARE AN . 

令 1=11。 如 果 多 三 和 ， WA 1. g? =e +g =0, MUA ICA HISZ. 
有 这 样 一 个 编码 的 例子 ， 其 生成 矩阵 为 

Pe 用 本 ee err 
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Hamming WX 的 对 偶 居 4 被 称 为 极 长 码 。 通 过 上 面 的 论述 ， 我们 可 以 知道 它 的 码 长 为 
2‘ 一 1、 秩 为 6， 并 且 它 的 生成 矩阵 Gt 大 小 是 XX (2 一 1)， 其 中 列 给 出 了 长 度 是 2 的 所 有 
非 零 向 量 。 为 了 检验 dist Za = 二 2! 可 通过 证 明 一 个 的 非 零 码 字 x= 2’ 的 码 重 等 于 2 和 一: 。 
但 是 非 零 码 字 IEX EGE 行 向 量 的 一 个 非 零 线 性 组 合 。 令 J 己 {1，…， ERRI 
集合 : 
r= Sig) 
i€EJ 
RFE, wg " ) 三 2 全 刚好 是 所 有 2 个 向 量 的 一 半 ， 在 任何 给 定 的 位 置 上 都 是 1。 该 证 明 
将 在 关于 # JJ 的 推导 中 完成 。 
一 个 简单 而 优雅 的 方法 是 用 MacWilliams 等 式 ( 参 考 引 理 3. 4. 4) ， 立 即 可 以 得 出 
Wars) =148=— Ds (2. 6. 8) 
给 出 这 个 推导 是 很 有 意义 的 。 我 们 将 在 问题 3.9 中 ， 针 对 一 个 Hamming 码 的 加 权 枚 举 多 
项 式 ， 证 明 这 个 公式 。 然 后 将 这 个 表达 式 代 入 MacWilliams 等 式 中 可 以 得 到 
1 1 1—s5\% 
Wat (Dea wag tie) 
N 1— 5\ (epi 1— s\ NtD/2 
pare a Jato 


-人 














ECSU F (2.6.8). 
问题 2. 14 简要 描述 Hamming[ 2’—1, 2°—-1—¢] ow MBit, 
对 于 形 如 式 (2. 3. 4a) 的 码 字 字典 奇偶 校 验 矩阵，Hamming[7，4j] 码 可 以 用 于 编码 16 
符号 、 字 母 表 的 前 15 个 字符 和 间隔 符号 x 。 编 码 规 则 是 
A 0011001 E0111100 11010101 M 1111111 
B 0100101 F 0001111 J 1100110 N 1000011 
C 0010110 G 1101001 K 0101010 © 0000000 
D 1110000 H 0110001 L 1001100 x* 1011010 
你 已 经 收 到 一 个 105 位 的 数字 信息 
1000110 0000000 0110001 1000011 1000011 1110101 
0111100 0011010 0100101 0111100 1011000 1101001 
0000000 0010000 1010000 
其 中 一 些 码 字 是 被 损坏 的 。 解 码 接收 到 的 信息 。 
解答 。、Hamming[2: 一 1，2 一 1 一 4] 码 (二 2，3，…,) 可 以 作为 一 个 长 度 为 N=2‘ 一 1 二 进 
制 “ 字 符 串 ”x 二 x1…zw 集合 使 得 xHT 二 0 RR. BH 百 是 一 个 CCX2 一 1) 的 矩阵 ， 其 
中 列 是 由 2: 一 1 个 非 零 二 进 制 字符 串 组 成 ; 就 是 ， 


ON 
9 yet 0. 0 1 

H = 
GOR ey) Ifa 


1X EP BY we FAH. LR A A EEE, RE AN REE, EE EE 
义 了 不 同 但 等 价 的 码 : 它们 被 称 为 Hamming 码 。 
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为 了 解码 ， 我 们 必须 确定 一 个 矩阵 HOE SL Mc M AE AEE, KE 


收 到 的 字符 ( 串 )y 二 yy…yn， 我 们 构造 一 个 伴随 向 量 yH. WMR yH "二 0， 我 们 可 以 通过 它 
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自身 来 解码 y。( 我 们 无 法 确定 初始 码 字 是 否 被 信道 损坏 。) 

WR yH'A0, 那么 yH "与 耳 中 的 列 相同 。 假 设 y 坦 和 给 出 五 中 的 列 ;; 那么 我 们 通过 

如 下 式 子 解码 y 

x” = yte, 其 中 ej 三 0…1…0( 在 位 7 上 的 1) 
换 名 话说， 我 们 改变 y 中 的 数字 7 ， 然 后 判定 它 是 通过 信道 发 送 的 哪个 码 字 。 当 信道 传输 
错误 很 少时 我 们 判断 得 很 准确 。 

如 果 l= 二 3 的 一 个 Hamming[L7，4j] 码 包含 2 三 16 个 码 字 。 当 互 被 固定 时 这 些 码 字 是 
国定 的 : 在 例子 中 被 用 来 编码 15 个 字母 A 到 O 和 空 字 符 * 。 依 据 接收 到 信息 我 们 将 其 分 
为 长 度 为 7 WS. 在 例子 中 这 里 一 共有 15 个 码 字 。 执 行 解码 过 程 得 到 

JOHNNIE x BE x GOOD m 
问题 2. 15 ”一 个 长 度 为 N=2—1 的 (二 进 制 )Hamming 码 ， 当 《全 2 h, Hamming 码 被 定 
义 为 一 个 线性 二 元 码 ， 它 的 奇偶 校 验 和 矩阵 H 的 列 由 长 度 为 4 的 非 零 二 进 制 向 量 组 成 。 求 这 
样 一 个 码 的 秩 ( 也 就 是 相应 的 线性 子 空间 的 维度 ) 和 码 字 的 数目 。 求 码 的 最 小 距离 并 且 证 明 
它 是 纠 单 错误 的 纠 错 码 。 证 明码 字 是 完美 的 ( 即 围绕 码 字 的 单位 球 的 并 集 覆 盖 了 所 有 码 字 
空间 ) 。 

给 出 一 个 Ll 二 3 的 Hamming 码 的 奇偶 校 验 天 阵 和 生成 矩阵 这 个 码 的 信息 速率 是 多 
少 ? 为 什么 当 L 二 2 时 不 合算 ? 

A Hamming 码 的 奇偶 校 验 矩 阵 百 是 ZX2 一 1， 它 由 非 零 的 长 度 为 Z 的 列 组 成 ; 特别 
地 ， 它 包含 所 有 的 权重 为 1 的 1 列 。 后 者 是 线性 独立 的 ; 因此 互 中 的 : 列 是 线性 独立 的 。 
AAD vom =kerH, 我 们 有 dim V=2'—1—¢=rank HW。 那么 码 字 的 数目 等 于 Be 

因为 H 的 所 有 列 是 不 同 的 ， 任 意 两 列 都 是 线性 独立 的 。 所 以 ， 儿 的 最 小 距离 这 2。 但 

是 多 包含 有 线性 相关 的 三 列 ， 例 如 
100…07，010…07 和 110…07 
因此 ， 最 小 距离 等 于 3。 所 以 如 果 发 生 了 单个 错误 ， 也 就 是 接收 到 的 码 字 与 这 个 码 字 的 距 
离 是 1， 那 么 这 个 码 字 唯一 可 译 。 因 此 Hamming 码 是 纠 单 错误 的 纠 错 码 。 
为 了 证 明 它 是 完美 的 ， 我们 必须 检查 

码 字 的 # X1- 球 的 列 = BSW RH 
事实 上 , +2'-1=N, RIA 

码 字 的 间 = 92 = 


N N 
1- 球 的 列 = p 上 |= :+ 


字 的 总 # = 2% 
和 
CL ND OY = pa BR 
此 码 的 信息 速率 等 于 





e 
#/kR= SS 


C=3 的 码 具 有 形 如 (2. 6. 4) 的 3X7 奇偶 校 验 矩阵 ; 通过 行 的 任意 排列 组 合 可 以 得 到 等 价 的 
码 。 生 成 矩阵 是 4X7 W: 
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1 
0 
0 


o oF O 
= O SO 
=. O O O 
= öö r 
e O H a 
= = =e = 


0 0 0 
信息 速率 为 4/7。4 王 2 的 Hamming 码 很 简单 : 它 只 有 一 个 唯一 的 码 字 1 1 1。 口 
问题 2. 16 ”定义 一 个 在 域外 上 的 长 度 为 N 的 BCH Æ, 设计 距 离 为 SG。 证 明 这 样 一 个 码 的 
最 小 码 重 至 少 为 6。 

考虑 一 个 在 域 F 上 的 长度 为 31 的 BCH 码 ， 设 计 距 离 为 8。 证明 最 小 距离 至 少 为 11。 
解答 ”一 个 在 域 FE 上 的 长 度 为 N 的 BCH 码 定义 为 一 个 循环 码 .&% ， 它 的 最 小 次 数 的 生成 多 
MA gXN EK LX], 关于 g(X)|(X* 一 1)( 因 此 有 deg g(X)<KN), WET ERR HF 
BÉ w ws oe ', Pwo ky ERN 个 本 源 单位 根 。( 这 个 根 w AFAT RRF- 
XS 一 1 在 上 的 分 裂 域 ， 也 就 是 Nu 一 1)， 那 么 8 被 称 为 儿 的 设计 距离 ; 实际 距离 (一 般 
情况 下 可 能 很 难 计算 ) 宇 6。 

如 果 我 们 考虑 长 度 为 31 的 二 进 制 BCH E, o 应 该 是 一 个 次 数 为 31 的 本 源 单位 根 ， 
其 中 ww! 二 1( 根 ww 位 于 扩展 域 Fi; 上 )。 我 们 知道 在 二 进 制 代数 中 ， 如 果 阶 数 为 * 的 多 项 式 
f(X)E Fi[X] 有 一 个 根 w， 那 么 它 就 有 根 w，w'，…，w* ， 即 

(X—w )| F(X) yr = 0 ,5s—1 
因此 ， EZERT g(CX) 有 根 Dy Wg Wy Oy 那么 它 还 有 根 

wo Ca)? sc = Kai) eet he)” 

也 就 是 说 定义 集合 可 以 扩展 为 

estar Sa seed: sive or sor Trd vane 
(所 有 的 这 些 元 素 是 不 同 的 ， 因 为 w 是 第 31 ARRARO EXE, BPHRTHRS 
11。 因 此 ， 允 的 最 小 距离 亿 11。 口 
问题 2. 17 AZAHAR 上 的 线性 [LN，R&，d] 码 ，G 是 多 的 生成 矩阵 ， 有 有 行 N 列 ， 
使 得 第 一 行 元 素 的 d 刚好 是 1。 令 Gl 是 上 一 1 行 N 一 d HER, MUM G 的 第 一 行 和 
第 一 行 中 不 为 0 元 素 的 列 构成 。 证 明 由 Gi 生成 的 线性 码 儿 ;的 最 小 距离 d' 宇 [ d/2 1|。 这 里 
对 于 一 个 实数 z,「 工 1 满足 zx 二 [ xz 睛 x 十 1 的 整数 。 

ERAK, 的 秩 为 一 1]。 推 导 


N=" SY are 


解答 SrxrkhBPHG 的 第 一 行 表示 的 码 字 ， 挑 选 其 他 两 行 ， 叫 作 y 和 x。 删 除 第 一 行 之 
后 得 到 y 和 x 。 两 个 码 重 wy A wz N — E d/2): 否则 初始 码 y Az 中 至 少 其 中 一 
个 ,不 妨 假 设 为 y， 在 被 删 掉 的 a 个 数字 中 应 该 有 最 少 的 [ 4/2 1 个 数字 1( 因 为 根据 条 件 
w(y) 宇 d)。 但 是 
wix+y) = wy’) +d—[d/2]<d 

R5SPHEAA d 相 矛 盾 。 

我 们 要 检验 码 重 wy +2 )>[ d/2 1。 假 设 相反 的 情况 

wy +z) =m<[d/2] 

IA m'=wly°+xz°)—#S>d—m>f[d/2], EP y" 是 y 的 删除 部 分 ， 长度 为 4，z*" 是 > 
的 删除 部 分 ,长度 也 为 4。 事实 上 ， 如 前 所 述 ， 如 果 m' 过 4d 一 m， 那 么 wlyt+z)<d 是 不 
可 能 的 。 但 是 如 果 m'>d—m, 那么 
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wlx+y+z)=d>m +m<d 

也 是 不 可 能 的 。 因 此 G 中 任意 两 行 之 和 的 码 重 写 [ 4/2 1。 

对 于 G 中 任意 行 数 之 和 (不 超过 一 1) 这 个 证 明 可 以 重复 。 事实 上 ， 这 种 加 和 x 十 y 十 … 十 
z 情况 下 ， 我 们 可 以 过 渡 到 新 的 矩 了 泗 ，G 和 Gi,， 涉 及 行 之 间 的 这 个 和 。 我 们 得 出 结论 : 
K 的 最 小 距离 d' Sf d/21 Ki 的 秩 是 一 1， 因 为 Gi 的 任意 一 1 行 都 是 线性 独立 的 (上 
面 的 和 不 可 能 为 0) 。 

现在 ， 删 除 过 程 可 以 被 应 用 到 .& (删除 G PAY a’ BPH AE G 中 行 的 数字 1 恰好 是 4& 个 
数字 1)。 继 续 ， 直 到 将 初始 秩 从 下降 到 了 1。 这 会 导致 需要 的 界 

Nel e/a eb Tae 口 

问题 2. 18 ”定义 一 个 循环 线性 码 居 ， 然 后 证 明 在 正规 化 的 条 件 下 ， 它 有 唯一 的 最 小 长 度 
的 码 字 。 多 项 式 g(X) 的 系数 是 这 个 码 字 符号 (最 小 次 数 ) 的 生成 多 项 式 : 证 明 所 有 这 个 码 
的 码 字 通过 某 种 特别 的 方式 与 g(X) 相 关 。 

进一步 证 明 当 且 仅 当 g(X) 满 足 一 个 特定 条 件 ( 需 要 被 证 明 )， 它 可 能 是 一 个 长 度 为 N 
的 循环 码 的 生成 多 项 式 。 

至 少 有 三 种 方式 根据 已 知 的 生成 多 项 式 确 定 这 个 码 的 奇偶 校 验 和 矩阵 。 解 释 其 中 一 种 。 
解答 ” 令 儿 是 长 度 为 N， 次 数 为 4 的 生成 多 项 式 g(X) = DS) gX 的 循环 码 。 不 失 一 般 


0<i<d 


HE, 假设 码 是 非 平凡 的 ， 有 l<d<N-1, $ g 表示 相应 的 码 字 go。…ga0…0( 这 里 有 d+] 
系数 g; 填补 了 N 一 d 一 1 个 0)， 那 么 
(a) 对 于 次 数 为 二 N 一 4d 的 菜 些 多 项 式 h(X) = 》) hiX' ，g(X)|(X"V 一 1) 也 就 是 


0<i 


g(X)ACX)=X"-1, 
(b) 字符 串 aSa ran 1 €#4AW4SRMR aX) = ”》，aiX' 有 形 如 a(X) 二 了 (X) 


0<t<N-1 


g(X)mod(X*—1); 

(c) 字符 串 g 和 它 的 循环 移 位 re, oo, t g (对 应 多 项 式 gX), Xg(X), 1, 
X* gC X) FE RBH — SE o 

根据 (a)，go = 二 ho 二 1， 并 且 对 于 所 有 的 U1, =, N-1, RI g(X)h(X) 的 第 1 项 系 


数 的 和 》) ghm SF 0. RHC), PWKEF ko 


0o<Si<l 


一 种 确定 奇偶 校 验 矩阵 的 方法 是 取 比 值 CXX 一 1)/g(X) =hOCX) =h thi X +0 + 
hiX*。 那 么 可 以 形成 NX(N 一 &) 和 矩阵 


Sy aa eae 0 ëss 0 0 
ES Jo) aes BR bake OD) 

H= FARA j (2. 6.9) 
0 0 a oe a ey oe Pe 


HP ATE SB h t = 二 及 …ho0…0 的 循环 移 位 (ri t), OS j<d—-1=N—k-1, 
我 们 声明 对 于 所 有 的 aC, aH’ =0, §¥XE, 它 足 以 检验 对 于 基本 码 字 rg, 
wgH'=0, j=0, ++, k—1, BPH 
vige miht = 0,0 [ji <k OS j, << N-k-1 (2. 6. 10) 
但 是 对 于 j==& 一 1 和 j= 二 0， RNA 
A ge eh = ghi rp 
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因为 它 给 出 乘积 gO =X 的 第 一 个 系数 (在 单项 式 XY). MR, MF j =k-2 
和 js 二 0， zg。h'! 给 出 g(X)h(X) 的 第 二 个 系数 (在 单项 式 XOHALS FO. IFA, 
XF j =j:=0, g" h*=0 是 g(X)h(X) 的 第 次 的 系数 。 

HEE, ge xh ! EF g(h), ge Wh 的 第 (k 十 1) 次 的 系数 ，g， ch 第 (k 十 2) 
次 ， 等 等 ; Es a? TA = pa har Bahro 第 (N 一 1) 次 。 和 前 面 的 一 样 ， 它们 全 都 
为 零 。 

当 我 们 同时 循环 移动 两 个 码 字 (如 果 可 能 的 话 )， 同 样 正确 。 它 将 会 导出 (2. 6. 10)。 

相反 ,假设 对 于 某 些 码 字 a= a ana A aH 二 0。 写 出 对 应 的 多 项 式 a(X)= 
FOO BOO +X), KP HEE SOS E SX, r OERD., 那么 或 者 r(X) 二 0 或 
& 1<degr(X) =d'<dGt AMF d'<l<n-1, @r,'=1,. flr =0). RBA rreri 

假设 r(X)A0, MR EMME 

G) aH*=rH", At rH™=0, 

Gi) 向 量 rH" 的 元 素 与 乘积 r(X)h(X) WK BCAA al, 从 rohi tes tra hi-z 开 始 到 ra hy 
结束 。 所 以 ， 这 些 系数 一 定 是 0。 但 是 等 式 rh =0 是 不 可 能 的 ， 因 为 ry =h =l., Al, 
r(X)=0 FF Hal X)=f(XYe(X), Mach, RISHA: 互 是 光 的 奇偶 校 验 矩 阵 。 

同样 ， 五 是 由 码 字 对 应 的 多 项 式 XA) (X) 形 成 的 矩阵 ， 其 中 

RUN pK 


o<i<k 


作为 另 一 种 选择 ， 令 h(X) 是 长 度 为 N、 生 成 多 项 式 为 g(X) 的 循环 码 必 的 校 验 多 项 式 ， 
使 得 g(X)h(X)= 二 XN 一 1。 那 么 : 

(a) R={f(X): F(XIh(X)=0mod(X"—e)}; 

(b) WR ACX =h Hh X+ +h X MAAE HRA C. 6. 9) 的 形式 ; 

(c) 对 偶 码 2 是 一 个 dim 2 =r WRB, HAR =n (X)), 其 中 hi(X)= 
rb 0 hh X ek XX HE nea E 
问题 2. 19 考虑 Hamming[? —1, 2°—-¢-1J=-AGBGHFSREBE H, tAE H 
—4 ES fANAL ERL, 2R EE H’ 。 所 产生 的 码 的 对 偶 被 称 为 
一 阶 Reed-Muller 码 。 证 明 一 个 一 阶 Reed-Muller 码 可 以 纠正 每 个 码 字 的 2 一 1 个 错误 。 

这 样 的 码 在 1972 年 被 用 于 Mariner 飞行 器 拍摄 的 火星 照片 。 码 率 是 多 少 ? 为 什么 有 
可 能 比 信道 的 容量 低 很 多 ? 
解答 问题 中 的 码 是 [2 ，l 十 1，2“!] 码 ， 其 中 4 二 5,， 信息 速 率 等 于 6/32<:5。 我 们 验证 所 
有 除了 0 和 1 之 外 的 码 字 的 权重 为 2: 。 对 于 人 1 的 情况 ， 码 多 (CD) 通 过 递归 形式 来 定义 

RUH 1) = {xx |x E MO) V (x. x+1] x E MO} 

PU, B+1) PWG KA TE 2. AW {xx |x eC Bo) Mix, x 十 1 |xE 
多 (b)} 是 不 相交 的 ， 码 字 的 数量 翻 倍 ， 也 就 是 # 多 (十 1) 三 22 2: 。 最 后 ， 假 设 罗 (2 中 除 0 
和 1 之 外 所 有 码 字 的 权重 为 2， 考虑 一 个 码 字 y€E 好 (Ll 十 1)。 如 果 y= 二 xx 与 码 字 0 和 1 
不 同 ， 那 么 x 关 0 或 1， 并 且 因 此 有 wly) =2w(x) =2X 261 =2', 

MR y= 二 x，x 十 1， 我 们 必须 考虑 某 些 情况 。 如 果 x=0, MA y=01, AEH 2. A 
R x=1, IWA y= 二 10， 权 重 依然 为 2。 最 后 ， 如 果 xA0 M1, 那么 w(x 十 1)==2/ 一 2 个 ! 二 


| POH A wly)=2X 25 = 2, ME w(x) = 2 的 码 字 xx 和 x，x 十 1 与 奇偶 校 验 矩 阵 H* 


的 行 相 正 交 就 很 明显 了 。 
达到 7 比特 可 能 会 出 现 错误 ， 因 此 传输 错误 概率 p.( 一 个 二 进 制 对 称 无 记忆 信道 的 错 


264 


174 第 2 全 


误 概 率 为 p) 服 从 


32 
b Sd D k |» (1— p) 
t 


当 pp 很 小 时 上 式 很 小 。( 对 于 一 个 可 以 接受 的 估计 p， 我们 可 以 求解 1 十 plogp 十 (1 一 p)log(1 一 
力 二 26/32。) 如 果 块 的 长 度 是 固定 的 (或 者 很 小 )， 对 于 很 小 的 p 值 ， 我 们 不 能 接近 它 的 容量 。 

确实 ， 对 于 4 二 5， 这 个 码 是 [32, 6，16]， 可 以 检测 15 个 错 并 且 可 以 纠正 7 个 错 。 也 就 
是 说 ， 这 个 码 可 以 纠正 的 部 分 大 于 全 部 32 个 数字 的 1/5。 信 息 速率 为 6/32， 如 果 ( 无 记忆 ) 信 
道 的 容量 是 C==1 一 mp)( 其 中 p 表示 错误 符号 概率 )， 我 们 要 求 C>6/32; 即 对 于 可 靠 传输 来 
P, yp) +6/32<1, ASFA | p—1/2|> |p" 一 1/21， 其 中 p* E0, LD, ARM 26/32= 
oP"). RAE OS p<1/5 和 4/5< p<] 也 以 此 类 推 。 但 事实 上 错误 概率 要 低 得 多 。 口 
问题 2. 20 证 明 任意 二 进 制 [5，M，3] 码 一 定 有 M 委 4。 证 明 恰 好 存在 一 个 使 等 号 成 立 的 
Z[5, 4, 3], 


解答 ”根据 Plokin 界 ， 如 果 d BRI Hd >L(N—-1), WA 


Mi (Nya) HEE 4th | 


2d +1—N 
事实 上 
# 4 = . = 
Mi 6,3 < 2| i] = 224 
所 有 的 [5，4，3] 等 价 于 00000, 00111, 11001, 11110, 口 


问题 2. 21 令 人 为 一 个 生成 矩阵 为 G 的 二 进 制 LN，&，dqgj] 线 性 码 。 证 明 我 们 可 能 假设 G 
的 第 一 行 是 1…1 0…0 的 形式 ,其 中 有 d 个 1， 可 写 为 

ips a 

G= 
G; G: 

证 明 如 果 d: Æ EREI G HASHIEB, AA d,>d/2, 
Be 令 和 为 LN，A，qd]。 我 们 总 是 可 以 构造 一 个 X 的 生成 矩阵 G， 其 中 第 一 行 是 一 个 码 
Fr, HE wa)=d; 通过 排列 组 合 G 中 的 列 我 们 可 以 得 到 形 如 1…10…0 的 第 一 行 。 所 


以 ， 等 号 成 立 


d N-d 


Hi 

G = 

CO 
假设 4(G;) 二 d/2， 那 么 为 不 失 一 般 性 ， 我 们 可 以 假设 存在 一 个 (GG;) 的 行 ， 其 中 数字 d+ 
l, =, 入 中 1 的 个 数 二 d/2。 那 么 这 一 行 数字 1, d 中 的 1 的 个 数 二 d/2， 因 为 它 的 总 码 
重 宇 d。 然 后 将 这 一 行 和 1…10…0 加 起 来 得 到 一 个 码 重 <d 的 码 字 。 所 以 ，d(G;) 宇 d/2。 O 
问题 2. 22(Gilbert-Varshamov FR) 证 明 如 果 p'<2'/vy,(d—2), MAAE—* p 进 制 线性 
LN, &，dj 码 。 因 此 ， 如 果 p 是 满足 这 个 不 等 式 的 轧 的 最 大 畸 ， 那 么 我 们 有 M; N, dSp'. 
解答 ”我 们 通过 选取 长 度 为 N—k 的 六 列 来 构造 一 个 奇偶 校 验 矩 阵 ， 其 中 这 N 列 中 没有 d 一 1 
列 是 线性 相关 的 。 第 一 列 可 以 是 Zs“ 中 的 任意 非 零 串 。 在 第 i 步 (i 宇 2) 我 们 一 定 选取 一 个 不 是 
前 面 已 选 列 中 任意 d 一 2( 或 者 更 少 ) 列 的 线性 组 合 的 列 。 这 种 线性 组 合 ( 系 数 不 为 零 ) 的 个 数 为 


dr fà 


=i 
SE aa jo- 


ws 


=l 
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MA, MEHA Sye 二 pr*“ 时 ,可 以 构建 奇偶 校 验 和 矩阵。 最 终 ， 我 们 发 现 Swt < 
vn-1(4d 一 2)。 就 是 说 如 果 2* 二 32/5， 那 么 存在 [5，2*，3j] 码 ， 所 以 二 2 并且 M; (5, 32> 
4， 实 际 上 这 是 很 明显 的 。 O 
问题 2. 23 ”如 果 一 个 元 素 5E EF; KOLERA =l mod dg 的 最 小 的 &) 是 9g 一 1， 那 么 
这 个 元 素 被 称 为 本 原 的 。 不 难 在 乘法 群 酌 中 明确 地 找到 一 个 本 原 元 素 。 考 虑 素 因子 分 解 


p Ile 
j=1 


对 于 任意 j=l, er Tes 选择 a; ERF, 使 得 a he, Ay b, =a mD ’ Biz b = IL 的 
| 

Brag + le 

解答 ”确实 , bi 的 阶 为 p》。 接 下 来 ， 如果 对 某 个 n, bð =1, MA n=0 mod pi, AA 

ole” 二 1 gem oll! = 1, Bn [] p% = 0 mod p. AN p 是 独特 的 素数 ， 对 于 任意 


ij 
j» 它 都 有 n=0 mod př. 因此 了 三 T : 口 
j=l 


问题 2.24 具有 一 个 本 原 根 的 最 小 多 项 式 被 称 为 一 个 本 原 多 项 式 。 验 证 在 次 数 为 4 的 不 
可 约 三 进 制 多 项 式 ( 见 式 (2.5.9)) 中 ，1 十 和 十 X4 和 1 十 XX 十 X! 是 本 原 多 项 式 ，1 十 XX 十 XX? 
HX HX 不 是 。 验 证 所 有 的 次 数 为 5 的 六 个 不 可 约 二 进 制 多 项 式 ( 见 式 (2.5.15)) 是 本 原 
BRA; 在 实际 中 ， 人 们 会 偏向 于 用 1 十 XX: 十 X 来 作为 计算 的 模 ， 这 个 多 项 式 略 微 会 变 
短 一 些 。 验 证 式 (2, 5.16) 中 所 有 次 数 为 6 的 不 可 约 多 项 式 中 有 六 个 本 原 多 项 式 : 它们 位 于 
最 上 面 三 行 。 证明 对 于 每 个 给 定 的 次 数 都 存在 一 个 原始 多 项 式 。 

解答 ”对 于 最 后 一 部 分 的 解 ， 见 3. 1 节 。 A 
问题 2. 25 -AKE A NDEREK, ERSERAK gX kA d=N-k TAR gX) 
的 根来 表示 ， 即 元 素 a1，…an_4 使 得 g(a;) 二 0。 这 些 元素 被 称 为 码 多 的 零 元 素 ， 属 于 Ga- 
lois 域 了 Ez 。 因 为 g(X)|(1 十 XN)， 它 们 也 是 1 十 XN HR, MHRA aN=1, 1SjJKN-k, 


即 a; 是 第 N 个 单位 根 。 剩 余 的 下 个 单位 根 ai ，…，o 被 称 为 履 的 非 零 根 。 当 且 仅 当 在 
Galois Fy F alaj)=0, 1<jSN—k BH, ZAR a NEL. 

(a) AO RO RRA, MAR RARA a !，…， o's PL MARRAR 
的 倒数 。 


(b) Re FHA x= ay EK, BF ay ime LH, MAM SRAA 
eX) HEREA TŽ., EMS ARH cl=-ONLPATHH, LERKA gla ')=0. 
(c) 证 明 一 个 长 度 为 N HH CHMOD, 其 中 (g，N) 二 1,. 通过 排列 组 合 这 些 数字 使 
得 zj( 让 二 qi mod N( 也 就 是 Xxx) 的 情况 下 是 不 变 的 。 如 果 s 二 ordn (9)， 那 么 两 种 排列 ?一 
i 十 1 和 x, (i) 在 码 的 自 同 构 群 Aut(&7) 中 产生 一 个 阶 数 为 Ns 的 子 群 。 
解答 ”的 确 ， 因 为 a(x") 二 a (2)! 与 相同 的 生成 多 项 式 成 正比 ， 所 以 它 和 a(z) 属 于 相同 的 
循环 码 。 口 
问题 2.26 证 明 有 129 个 长 度 为 128 不 相等 的 循环 二 元 码 ( 包 含 平 凡 码 10…0} 和 
(0，1)58) 。 找 出 所 有 长 度 为 7 的 循环 二 元 码 。 
解答 ”长 度 为 2 的 循环 码 的 等 价 类 一 一 对 应 着 1 十 X2 的 因子 ;它们 的 数目 等 于 2 十 1。 此 
外 ， 这 里 列 出 了 X 一 1 的 除数 作为 生成 多 项 式 的 8 个 码 
X7-1=(04+X)04+X4X)0+X? +X) 口 
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3. 1 有 限 域 入 门 


在 这 部 分 ， 我们 将 介绍 有 限 域 的 概要 ， 通 过 之 后 的 章节 和 下 面 的 标准 文本 ( 见 文献 
[92]、[93]、[131]) 所 需要 的 材料 来 限制 我 们 的 讨论 范围 。 有 限 域 是 一 个 (有 限 ) 集 合 F， 
集合 了 有 两 个 不 同 的 元 素 ，0( 零 ) 元 素 和 e( 单 位 ) 元 素 ， 并 配备 与 标准 分 配 律 相 关 的 加 和 乘 
(其 中 对 于 所 有 565EF 有 0， 5 二 0) 的 两 个 交换 群 运 算 。 

域 下 中 的 向 量 空间 是 一 个 (有 限 ) 和 集合 V， 配 备 一 个 加 的 可 交换 群 运算 和 一 个 与 下 中 的 
元 素 进行 标量 乘 的 运算 ,也 服从 标准 的 分 配 律 。V 的 维度 dimy 是 最 小 数 4， 它 使 得 不 同 
元 素 Us > ui EV 的 任意 集合 是 线性 相关 的 ， 即 可 以 找到 不 全 等 于 0 的 元 素 ko wo 
kaşı € F {E44 kiv Hee t kari vari 二 0。 那么 存在 元 素 为 ee Soe ba EV W 全 若 能 使 得 
每 一 个 vE V 都 可 以 写成 一 个 线性 组 合 aib 十 … 十 asby， 其 中 Ee ea Gg 是 由 v 所 确定 的 
下 中 的 元 素 ( 唯 一 的 ) ， 则 称 为 基础 。 除 非 有 相反 的 规定 ， 否 则 我 们 认为 域 是 同 构 的 。 

域 的 一 个 重要 的 参数 是 它 的 特征 值 ， 即 使 得 pe=e+-+el(p K)=0 的 最 小 整数 p> 
1。 这 个 数字 用 符号 char( 杷 表示， 根据 标准 锥 梨 原理 可 证 明 它 的 存在 性 。 而 且 ， 特 征 值 是 
一 个 素数 。 如 果 =q, WA pe=(qlq2e=(qle)(q2e)=0, HRA qe=0 或 者 pe=0, 
导致 矛盾 。 
例子 3. 1.1 令 b 为 一 个 素数 。 一 个 加 性 循环 群 Z, 二 {0，1，…，p 一 1}， 生 成 子 为 1， 通 
过 乘法 (ge) (q'e) =(qq De 成 为 一 个 域 。 这 个 域 的 特征 等 于 po 

令 区 和 下 是 两 个 域 。 如 果 下 己 K， 我 们 可 以 说 区 是 一 个 下 的 扩展 。 那 么 区 也 是 下 上 
的 一 个 向 量 空间 ， 它 的 维度 表示 为 [K: F]. 

引 理 3.1.2 令 区 为 下 的 扩展 ， 并 且 d 二 [KK: F], PAZ#K=(#P"%. 
证 明 FY, $b, |, 是 KK 的 一 组 基 ， 对 于 所 有 的 &kE KK 有 唯一 的 表达 式 k = 
>) ajb; 。 那 么 对 于 所 有 的 je RRF a AAPA MAME. RU, 恰好 一 共存 在 


lI<j<d 

PD 种 方法 去 写 所 有 的 组 合 。 回 

引 理 3. 1.3 对 于 某 个 整数 d 宇 1， 如 果 char(P)=—p, MA4F=p?’, 

证 明 BMR O, e, 2e, +, (o-De. EMAMZ,, MZ, SEF, 那么 由 引 理 3. 1. 2 可 

知 ， 井下 一 加 。 O 

推论 3. 1.4 AP—-+AARAPF, HASLAHKE—LRq=—p’, KP p=char(F), s>l 

是 一 个 自然 数 。 

从 现在 开始 ， 除 非特 别 地 声明 ，zp 代表 一 个 素数 ，g 二 pp’ RRA BE. 

引 理 3. 1.5 (Freshman’s Dream) 对 于 所 有 a, bEF, n=l, wX char(P=—p, AA 
EB” =a" + 5)” (3.1.1) 

证 明 利用 归纳 法 ， 当 7 一 1， 


0<k<p 


(ato = 5) Pes car 
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xt F1<k<p—l, kjær 的 倍数 ，( 利 用 有 限 域 特征 的 性 质 ) 与 p 倍数 相关 的 项 不 存 


在 。 所 以 (a 土 6)* 二 a? 十 ( 士 5)*， 归 纳 的 步骤 用 相同 的 方法 完成 ， 用 a”” ACO) 代替 a 
和 士 5 可 证 。 c 
引 理 3. 1.6 从 大 小 为 g 的 域 下 中 取 非 零 元 素 具 有 来 法 运算 的 群 F”，E" 与 循环 群 避 1 是 同 
构 的 。 

证 明 ”对 于 任何 因子 4|(g 一 1), 群 F" 含有 $(d) 个 乘 阶 为 d 的 元 素 ， 其 中 #$ 是 欧 拉 函 数 。 
(回忆 $d) = # (k: k<d, ged(k, d)=1}). WU RMBBH d 的 所 有 元 素 都 有 a 的 形 
式 ， 其 中 a 是 一 个 本 原 元 , rd, r, 互 素 。 实际 上 , g 一 1 二”》) %d) ，F* 至 少 有 一 


dd | D 

个 阶 数 为 g 一 1 的 元 素 ， 这 暗示 着 F" 是 循环 的 且 阶 数 为 g 一 1。 O 

Sa€F, KAA d, HP d|(g 一 1)。 取 循环 子 群 {e， a，…，a”!'}， 此 子 群 中 的 每 
个 元 素 都 有 可 被 d 整除 的 乘法 阶 ， 即 这 些 元 素 是 多 项 式 X’ —e 的 解 ( 第 a 个 单位 根 )。 但 是 
在 下 中式 “一 有 二 4d 个 不 同 的 根 (因为 下 是 一 个 域 ;。 所 以 ， 在 下 中 ，{e，a，*…，a”'!}) 是 
所 有 多 项 式 X“ 一 e 解 的 集合 。 特 别 地 ， 正 中 的 每 个 阶 为 4 MIRAI Fle, a, +, aha 
观察 到 循环 群 Z; 恰好 有 #8(q) 个 阶 数 为 d HICK. MW, BSF EBA ADARNA d 的 
元 素 ; 换 句 话说 ， 如 果 y(d) 是 下 中 阶 数 为 元 素 的 数量 ， 那 么 y(d) 二 0 或 者 Jy(d) 二 $8(d)， 
而 且 


g—-1= Di gd) <= Y= g-1 
didin) TA 


这 也 说 明 对 于 所 有 d|n 都 有 
yd) = $(d) 

定义 3.1.7 正 ' 的 (乘法 ) 发 生 元 ( 即 一 个 乘法 阶 为 g 一 1 的 元 素 ) 被 称 为 集 正 中 的 本 原 元 。 
虽然 这 样 的 元 素 不 是 唯一 的 ， 但 是 通常 我 们 会 单独 选 一 个 这 样 的 元 素 并 用 上 来 表示 ; 当然 
ww 的 一 个 r ko 也 是 一 个 本 原 元 ,其 中 7 与 gq 一 1 互 素 。 

mack, 并 且 #EF* 二 g 一 1， 那 么 a"! 二 el( 每 个 元 素 的 阶 数 都 能 整除 群 的 阶 数 )。 
MY, ar 二 a， 其 中 4 是 下 中 多 项 式 X’ 一 X WR. 但 是 多 项 式 XX 只 可 能 含有 三 gq 个 根 
(包括 0)， 所 以 下 是 所 有 X" 一 XX 根 的 集合 。 
定义 3.1.8 已 知 域 K 和 ,有 目 FEK, 域 区 称 为 多 项 式 g(X) 的 分 裂 域 ，g(X) 的 系数 取 
自 ， 如 果 (a) 区 含有 g(X) 的 所 有 根 ，(b) 不 存在 同时 满足 FCKCK Aa) WRK. WF 
eX) WAM, 我们 记 为 Spl(g(X))。 

所 以 ， 如 果 #F=g， 那 么 下 包含 多 项 式 X" 一 X 所 有 的 根 ， 同 时 也 是 此 多 项 式 的 分 
裂 域 。 
引 理 3. 1.9 下 上 多 项 式 g(X) 的 任意 两 个 分 裂 域 KK， 区 相同 。 
证 明 ”实际 上 ， 求 交集 区 门 K ， 交 集 包 含 了 正 且 是 下， 开 ' 的 子 集 。 该 子 集 必 然 与 K，K 中 
的 一 丫 重合 。 Oo 
推论 3.1.10 对 于 任意 素数 pp 和 自然 数 s 宇 1， 存 在 至 多 一 个 具有 万 个 元 素 的 域 。 
证 明 满足 上 述 条 件 的 每 一 个 域 都 是 Z EZTA XX, =p 的 分 裂 域 。 因 此 ， 任意 
两 个 这 样 的 分 裂 域 都 相同 。 E 

另 一 方面 ， 我 们 会 在 后 面 证 明 下 列 定 理 。 
定理 3. 1. 11 对 于 下 上 的 任何 非常 数 多 项 式 ， 存 在 分 裂 域 。 
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推论 3.1.12 ”对 于 任何 素数 p 和 自然 数 s 宇 1， 存 在 一 个 恰好 含有 p 个 元 素 的 域 。 

证 明 再 次 利用 ZZ 上 的 多 项 式 XX, q=p., MESH 3.1.11， 存 在 一 个 分 裂 域 Sp 一 
X)， 其 中 (X' 一 X) 二 XX(X” "一 e) 可 以 分 解 为 多 个 线性 多 项 式 。 所 以 ，Spl(X’ 一 X) 含 有 X' 一 XX 
的 根 ， 并 且 特 征 为 p( 因 为 它 含有 名 ,)。 

但 是 ，X* 一 X 的 根 组 成 了 一 个 子 域 : 如 果 a =a, b =b, WH laatb) =at (o) 
( 引 理 3. 1. 5) ， 这 与 计算 atb HRB—E. WA, (ab) =a (6°) ab, XP IMA 
能 严格 地 包含 于 Spl(X? 一 X)， 所 以 它 与 Spl(X'-K BSA. 

接 下 来 需要 检查 多 项 式 X? 一 和 的 根 是 否 不 同 : 检验 域 的 阶 # Spl(X'—-X) LAS F gq. 
实际 上 ， 如 果 X?* 一 X 有 重 根 ， 那 么 多 项 式 会 有 一 个 公共 因子 ， 且 求 导 为 9x(X’ 一 X)= 
gqX"”! 一 e。 但 是 ,在 Spl(X?* 一 X) 中 gX"! 二 0， 所 以 不 可 能 有 这 样 的 因子 。 口 

总 结 而 言 ， 对 于 有 限 域 我 们 有 以 下 两 个 特征 定理 。 
定理 3. 1.13 所 有 有 限 的 域 的 大 小 都 可 表示 为 p, 其 中 轧 是 一 个 素数 ，s 是 大 于 等 于 i 的 
整数 。 对 于 所 有 这 样 的 p，s， 存 在 唯一 一 个 大 小 恰好 为 p HRM, 

具有 大 小 q= p 的 域 用 F, 表示 ( 另 一 运用 广泛 的 表示 方法 是 GF (q) (一 个 Galois 域 ))。 
对 于 最 基本 的 域 E 二 {0，1，…，p 一 1}(p 是 一 个 素数 )， 我 们 用 1 代替 e 来 表示 单位 元 。 
定理 3. 1. 14 可 将 所 有 有 限 域 有 了 序 排 列 ( 呈 “ 塔 ” 状 )。 对 于 一 个 素数 志和 正 整 数 钙 ，s， 
tee, 有 


F, = Zp 
此 处 每 一 个 箭头 代表 一 个 专门 定义 的 单 射 同 态 。 
例子 3.1.15 在 2.5 节 中 我 们 讨论 了 多 项 式 域 〖[X]/(q(X)，;， 其 中 gl(X) 是 一 个 不 可 约 的 
二 元 多 项 式 ; 可 参考 定理 2. 5. 32 和 2.5.33。 继 续 讨 论 例子 2.5.35), #8 h rF [CX] 
《1 十 X 十 X') 生 成 的 一 个 域 FE;。 该 域 的 结构 如 下 : 


X WHE mod 1+ X3+ X4 多 项 式 (字符 串 ) 向 量 (字符 串 ) 
= 0 0000 
x 1 1000 
xX X 0100 
X? R 0010 
X? X? 0001 


X‘ ED. A 1001 
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X UM mod LAX FX" 多 项 式 (字符 申 ) HECER 
xé 1+X+X3 1101 
xs 1+X+ X?+xX3 1111 
x’ 1+-X+X? 1110 
Xs X+X* +K 0111 
x? 1+- X? 1010 
ay sD Sia eis (3.1. 2) 
xu 1+X?+ x? 1011 
Xi 1X 1100 
x's X+X?2 0110 
xis X?+ x3 0011 


最 后 ， 如 果 我 们 选择 确定 玉 [Xj/《1 十 XX 十 XX 十 X’ 十 X!) 对 应 的 表格 ,计算 过 程 会 很 复杂 
(内 容 与 结构 也 会 有 所 不 同 )。 值 得 指出 的 是 ， 由 于 X Sl mod(1 十 X 十 XX 十 XX 十 X ),， 单项 
式 X 在 这 种 情况 下 不 是 一 个 本 原 元 。 事 实 上 ， 乘 法 群 的 生成 元 可 表示 为 单项 式 的 和 ， 即 1 十 X。 
举例 3.1.16 (a) Fs 包含 多 项 式 对 十 X 十 1 和 和 十 X 十 1 KMAR, RAK 最 小 扩 域 中 
元 素数 量 是 多 少 ? 

(b) H# Four Fo FRORKE. REF, BH, Phe 中 所 有 的 本 元 原 。 计 算 (w" 十 wi) 
(ote), FP wvoRF HAAR. 
解答 (a) 容易 得 到 该 数量 为 5 。 

(b) Fon “Fe AOFM: Fy Ks FeAl Fou. Fro=Fs 有 四 个 子 域 : FR, KB, Fr, 
Fro. F, 有 2 个 本 元 原 : Ws w (HP (we) =o) 。 

F, 有 四 个 本 元 原 ， 由 w， ws ws w 组成。 Fe 有 8 个 本 元 原 : w ws ws ws ws 


11 13 14 
BW 3 Os 


AFA, LX /(1+X+X") BY eH (BS IF 2. 5.35(c))， 可 得 
(ol + 0°) (e' +07)= wo +e° +e" +a! 
= 1001+ 0101+ 1111 +1101 = 1110 = w” 
但 是 ， 利 用 o =w, RHS H 
wo +e? +e’ +e! = 1010 +0001 +0101 + 1100 = 0010 = w = (w) 
从 现在 开始 ， 我 们 将 关注 有 限 域 的 多 项 式 表 示 。 一 般 化 2.5 节 中 引入 的 概念 ， 考 虑 以 下 
问题 。 口 
定义 3.1.17 FF, 上 的 所 有 多 项 式 的 集合 构成 了 一 个 交换 环 F,[X]。 对 一 个 固定 的 多 项 式 
g(X)E [Xj] 取 模 运算 得 到 一 个 商 环 E.[X]/(g(X))。 
定义 3.1.18 一 个 多 项 式 g(X)E FLX] 被 称 为 FE, 上 的 既 约 多 项 式 ， 如 果 它 不 可 再 做 如 下 
形式 的 分 解 
ECK = CKY gX) 
其 中 gi(X)， gs(X)EFLX]。 
定理 2. 5. 32 的 一 般 化 的 表述 为 如 下 定理 3. 1. 9。 
定理 3.119 令 g(CX)ERBRLX] 的 阶 数 为 deg g(X) 一 d。 那 么 当 且 仅 当 g(X) 不 可 约 时 ， 
F,LX]/(g(X)) R—PIKEY 。 
证 明 令 g(X) 是 一 个 上 的 一 个 既 约 多 项 式 。 为 了 证 明丽 LX]/g(CX) > 是 一 个 域 ， 我 们 
应 该 检验 其 中 每 个 非 零 元 素 FOO CK,LX]/(g(X) > 存在 着。 考虑 一 个 由 f(X)h(X)mod 
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g(X) 组 成 的 多 项 式 集合 F(f)， 其 中 h(X)EE[XI]/(g(X))( 由 f(X) 生 成 的 主 理想 )。 如 
RF NAA Bist eE F,[XX]( 等 于 6 的 常数 多 项 式 )， 那 么 相应 的 h(X) 二 4(X)“。 如 果 
FENDRE Bist eE FLX], MECXI/(g(X BEAR ARS hX) f(X)ACX) mod 
g(X) 不 是 满 射 。 也 就 是 说 ， 对 于 某 些 不 同 的 hi (X), A CX), fCX)A CX) =f (X) 
ha XJ Bi 
fCX) hy, (X) — hy (XD) = r X)g (X) 

那么 当 g(X) 不 可 约 时 有 CX) | f(X) MA gK) |a (X)— fh, (X)). Alt, BA 
fCO=0 mod g(X)( 蔬 盾 )， BA hy OO =h (X)modg(X), MA, REX] e0 EAR. 

joi ir Ml th, BY A Ta PE PRE: 如 果 g(X) 不 可 约 ， BAR LXI/(e(X)) SHESH 
g1(X)，gzs(X)，g1(X)gz(X) 三 0。 那 么 [XI1/lg(X)) 不 可 能 是 一 个 域 。 

[EF,[Xj/(g(X)): F] 的 维 数 等 于 d， 即 g(X) 的 阶 ， 所 以 FE[X]/(g(X))= 二 Ex。 O 
举例 3.1.20 ”证明 当 且 仅 当 ged(g(X), X—e)=e 时 ，g( 久 ) 在 多 项 式 环 [X]/《X* 一 e》 
中 存在 逆 。 
解答 ”考虑 一 个 [LX]/(XN 一 e) 一 [XJ]/(XN 一 e) 的 映射 h(X)FyhCX)g(X)mod(X*N 一 e)。 
如 果 它 是 满 射 ， 则 存在 h(X) 满 足 h(X)g(X)==e 上 且 h(X) 二 g(X)“!。 假 设 它 不 是 满 射 那么 
存在 h? (XOFA® (X) mod X" —e) (HH h? (X)gX) =h” (X)g(X)mod( X“ —e), B 

Ch (X) — h? (X)) gC X) = s(X)(X” — e) 

HAX —e) fh (KI—h” (X))， 这 意味 着 ecd(g(X), XY—e)=d(X) He. 

相反 地 ， 如 果 ecd(g(X), XY—e)=d(X)że, WAÆFERh(X)g(X)=e mod 
(X* —e) WI 

h(X) g(X) = e+ q(X)(X" —e) 
Herp, d(X)|LHS, d(X)|q(X)(X*—e). PFU, d(X) |e: 构成 一 个 了 矛盾。 所 以 g (X) ! 
不 存在 。 口 
例子 3. 1.21 (继续 探讨 例子 2.5. 19) 此 处 有 6 个 阶 数位 为 5 的 二 元 既 约 多 项 式 : 
1+ X? + X8,1+X°+X*,14+X4 X74 A 
LEX AK +X! + X851-+X4+ KEHN H 
1+ X?+X?+ xX'+ x5 (3. 1.3) 

那么 存在 9 个 阶 数 为 6 的 既 约 多 项 式 ， 可 继续 这 种 推演 。 计 算 高 阶 既 约 多 项 式 是 一 项 艰难 
的 任务 ， 虽 然 有 关 这 些 多 项 式 的 大 量 表格 已 经 可 以 在 网 上 找到 既 约 多 项 式 。 

下 面 证 明和 定理 3. 1. 11, 
定理 3. 1.11 HER 一 个 重要 的 事实 是 任何 一 个 非常 数 多 项 式 g(X)E FLXj] 在 EF, 的 扩 域 
中 存在 一 个 根 。 不 失 一 般 性 ,假设 g(X) 是 不 可 约 的 ， 阶 数 是 d。 令 [Xj]/(g(X))= Fx 
为 一 个 扩 域 。 在 这 个 域 中 ，g(a) 二 0， 其 中 a ESMER] gX), 因此 g(X) 有 
二 个 要 

在 Ex 中 ， 可 以 用 g(X) 去 除 久 一 x， 利 用 相同 的 构造 方法 证 明 在 某 个 EE t<d 的 扩 域 
中 ，g1(X) 二 g(X)/(X 一 a) 有 一 个 根 。 最 后 ， 构 造 一 个 域 包 含 g(X) 的 所 有 d 个 根 ， 即 构 


造 一 个 分 裂 域 Spl(g(X))。 Oo 
EM 3.1.22 已 知 一 个 域 FCK 和 一 个 元 素 YE 区 ,我们 用 F(Y) 表 示 包 含 了 和 YY 的 最 小 域 
(显然 FCF(Y)CCK)。 类 似 地 ，F(yY;，…，7,) 是 包含 下 和 元 素 Ns wo y, EK REK 


域 。 KP F=F, Ala€ K, 令 
M.9(X) = CX —2) 6X Sat XR AR) (3.1.4) 
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其 中 4 是 使 得 a” =o 的 最 小 正 整数 (在 引 理 3. 1. 24 中 证 明 将 会 证 明 这 样 4 的 总 会 存在 ) 。 

首 一 多 项 式 是 以 1 为 最 高 次 项 系数 的 多 项 式 。F 上 关于 a€ 区 的 极 小 多 项 式 是 一 个 唯一 
的 首 一 多 项 式 M,(X)( 二 Mr(X))EF[X],， 使 得 M,(a) 二 0， 并 且 对 于 每 一 个 满足 g(a) 二 0 的 
g(X) 二 F[X], 都 有 M.(X)|g(X)。 当 ww 是 KOER ) 的 一 个 本 原 元 ，M.(X) 称 为 正中 的 
本 原 多 项 式 。 多 项 式 P(X)EF [Xj] 的 阶 是 使 得 P(X) | (X" 一 e) 的 最 小 的 nn。 
例子 3. 1. 23 (继续 讨论 例子 3. 1. 21) 这 个 例子 中 ， RIE 上 的 多 项 式 。 既 约 多 项 式 
X°+X+1 是 本 原 多 项 式 且 阶 是 3。 既 约 多 项 式 X+X+1 和 X’ 十 X: 十 1 是 本 原 多 项 式 且 
MÆTT. X HXH A X HXH 也 是 本 原 多 项 式 ， 阶 为 15， 然 而 XX' 十 XX 十 XX 十 久 十 1 不 
是 本 原 多 项 式 ， 阶 是 5。( 值 得 注意 的 是 当 d 二 4 时 ，X! 十 X 十 1] 和 X' 十 XX 十 1 HH 
24 一 1; 另 一 方面 ， 在 域 肥 [LX]/(L 十 和 十 X2 十 X3 十 Xi 中 ， 元 素 X 的 阶 等 于 5， 但 是 在 
E[X1]/(1 十 X 十 X') 中 ， 其 阶 为 15.) 所 有 在 式 (3.1.3) 中 罗列 的 六 个 多 项 式 都 是 本 原 多 项 
式 ， 阶 数 是 31( 即 都 出 现在 X” 十 1 的 因 式 分 解 项 中 ) 。 
引 理 3.1.24 45 CK, CF, AM, (XE FLX] Aa 的 极 小 多 项 式 ， 次 数 是 
degM,(X)=d, MA: 

(a) M,(X) 是 下 ,[X] 上 在 a 处 有 根 的 唯一 既 约 多 项 式 。 

(b) M,(X) 是 Fj[X] 上 在 a 处 有 根 且 次 数 为 d 的 唯一 的 首 一 多 项 式 。 

(c) M,(X) 的 形式 如 式 (3.1.4) 所 示 。 
证 明 论断 (a)，(5) 可 由 定义 得 到 。 为 了 证 明 (c), 假设 YE 区 是 FLX] 上 多 项 式 f(X)== 
ao 十 mi 六 十 … 十 aaX* 的 一 个 根 ， 即 >) ay’ 二 0, 因为 af =a, FRA a EF 都 成 立 ) ， 由 
引 理 3.1.5 


RY = a (a a =o 
0<i<d O<i<d 


所 以 x 是 一 个 根 。 类 似 地 ，(yX)*=y 是 一 个 根 ， 以 此 类 推 。 口 
对 于 M,(X) ， 它 产生 的 a; a’, a” ，… 都 是 根 。 当 第 一 次 满足 a 二 a 时 ， 这 推断 会 停 
止 (这 样 就 证 明了 ;的 存在 性 )。 最 后 当 a，a*，…，a” “都 不 同 的 时 候 ，; 二 4: 如 果 并 非 不 
fl, MAA a =a", Hp i<j, 将 a =o" Ma KR, RGA a’ =a =a. fit 
以 ,a 是 多 项 式 P(X) 三 X* —X WR, SPEX =F, BWM, a 是 一 个 次 数 
Ad 的 既 约 多 项 式 的 根 ，SplCM,(X)) 二 Ex。 所 以 ，d1 (a 十 i 一 站 或 者 d| (i 一 门 都 是 不 可 
能 的 。 这 意味 着 对 于 所 有 根 a? ，i<d 都 是 不 同 的 。 
定理 3. 1.25 “对 于 任何 域 术 PAd, HEA d KRM SAX f(MEKLX]. 
证 明 RAR oC Fi。 那么 含有 w WF, 最 小 扩 域 F,(w) 与 Fx 一 致 。F, 上 向 量 空间 F, Co) 
的 维 数 [F,(w) : Fj] 等 于 [Fx: Fl=d. F 上 关于 w 的 极 小 多 项 式 M。(X) 有 不 同 的 根 w 
wt, +, of ” ， 因 此 其 次 数 为 d。 口 
虽然 没有 一 般 化 的 方法 来 证 明 已 知 多 项 式 的 不 可 约 性 ， 但 关于 一 个 已 知 次 数 的 既 约 多 
项 式 的 数量 问题 却 可 由 简洁 的 Mobius 方程 求解 。 
定义 3.1.26 在 集合 Z+ EM Mobius 方程 由 下 式 给 出 
如 果 可 以 被 一 个 素数 的 平方 整除 ，j(1)==1， y(n) 一 0， 
WR n ER TARA FA, a=, 
定理 3. 1.27 ASRARE[XIP, nKRHSRAMKEN (nw FABR 
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N,Q) = + Spada" (3.1.5) 
did |n 
举例 说 ，N,(20) 等 于 
E UDG” Hug + ea? + pl5)g + pC10)g + pC20)g) 

= q" =g! —q' +g) 
证 明 首先 ， 我 们 构造 加 性 Mobius REAR. S YAY 是 两 个 从 Z+ 到 加 性 Abel 群 G 的 

函数 。 那 么 下 面 的 等 式 是 互相 等 价 的 
Win) = >) y(d) (3. 1.6) 

din 


gin) = Yay (7) (3. 1.7) 
a|n 
4 ATTIRE FIER OT TT EEE, Ba) 24 n>1 时 Ded) 等 于 0， 当 n=1 
d|a 


时 该 和 为 1。 
b) 对 于 所 有 nn 


Dp (DVn/d)= > pld) >, Wc) 


d:d |n d:d |n 


= 2w = uld) = Vn) 


d;d | n/e 


为 了 检验 (a)， 令 pis s Dr chee 的 不 同 素 因子 ， 那么 


Spd pS lp) pet 
d|n i=} 


k k k 
=i+|， js \-pe+~+ f Jt =o 


把 式 (3. 1.7) 应 用 到 G=Z(Z 是 整数 加 法 群 )， 利 用 VOD =nN,(n) Al VO) =", AY 
得 到 式 (3.1. 5)。 口 

现在 把 多 项 式 X” 一 分解 为 既 约 多 项 式 的 乘积 。 那 么 式 (3. 1. 6) 当 X” 一 X Wg” 
与 所 有 既 约 多 项 式 ( 阶 数 整除 n) 的 阶 数 和 相同 时 ,， 式 (3. 1.6) 成 立 。 确实， 我 们 简单 地 把 

-X 写 为 所 有 既 约 多 项 式 的 乘积 ， 可 以 观察 到 当 且 仅 当 多 项 式 的 次 数 能 够 整除 却 时 ， 
多 项 式 可 以 分 解 ( 参 见 推论 3. 1. 30) 。 
举例 3.1.28 AF, 中 找到 所 有 次 数 为 2 和 3 的 多 项 式 ， 计 算 它 们 的 阶 。 
解答 ”在 有 二 {0，1,，2} 上 ， 有 3 个 2 次 既 约 多 项 式 : X°+1, HHA AWE 

(X*—1)/(X +1) = X —1 
X°+X+2 和 XX? 十 2X 十 2 的 阶 为 8 且 满 足 
(X® —1)/(X? + X4+2)(X? +2X +2) = X* 一 1 

RE., ER F, FEG —3)/3=8 ^ 3 次 既 约 多 项 式 。 其 中 有 四 个 的 阶 为 13( 所 以 ， 

它们 不 是 本 原 的 ) ， i 
K F2XH2 X +X* +2, Petre X'+2xX?+2xX+2 

剩 下 的 四 个 的 阶 为 26( 所 以 它们 是 本 原 的 ) : 
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X¥4- 2X + 14K? eRe OS 1 KER Ha Xa M+ 1 
确实 ， 如 果 加 (X) 表 示 前 四 个 多 项 式 的 乘积 ， 那 么 (X 一 1)/zD(X) 王 和 一 1。 另 一 方面 ， 如 
果 r(X) 代 表 剩 下 四 个 多 项 式 的 乘积 ， 那 么 (zx” 一 1)/r(X) 等 于 
(X— D(X+DCX 十 2X 十 2)CX3 +X +2) 

X(X? +X? + X+2)(X*? 十 2X2 +2X +2) 口 
定理 3. 1. 29 如果 一 个 以 阶 多 项 式 g(X)EF,[Xj] 是 不 可 约 的 并 且 a 是 g(X) 的 一 个 根 ， 那 
么 分 裂 域 Spl(g(X)) 和 最 小 扩 域 加 (a) 与 Fi 是 一 致 的 。 
证 明 已 知 EC 一 Mr CO 一 irro (X)( 由 引 理 3.1.24, g(X) 是 不 可 约 的 )。 我 们 可 以 得 到 FC 
F,(a)=FyeCSpl(g(X)), EP RRS g(X) 在 (a) 中 的 任何 根 y: 这 上 暗示 着 Spl(g(X)) 己 
F(a). HH 3.1.13， 含 有 q! 个 元 素 的 唯一 Galois MEF, (a) = Fe 是 分 裂 域 Spl(X” 一 
X) ， 即 包含 X” 一 X 所 有 的 根 (其 中 有 一 个 是 a)。 那 么 ， 因 为 g(X) = Ms (X)， 可 知 


g(X)|(X” 一 义 )。 所 以 ，g(X) 所 有 的 根 是 X 一 X 的 根 ， 所 以 这 些 根 都 在 Ela) 中 。 O 
推论 3. 1.30 假设 g(X)E[X] 是 一 个 阶 数 为 d 的 既 约 多 项 式 。 那 么 ， 当 且 仅 当 d|n 时 ， 
BEC 一 7 
证 明 已 知 分 裂 域 SbplCg(CX)) = Fy 和 Sp(X"—X)=Fr. HEM 3.1.29, HN d|n 
时 ，Spl(g(X))ESpl(X” —X), 

如 果 g(X)|(X” 一 X) ，g(CX) 中 的 每 一 个 根 都 是 (Xe 一 X) 的 根 。 那 么 Spl(g(X)) 
Spl(X" 一 X)， 所 以 d\n. 口 

相反 地 ， 如 果 d\n, BP Spl(g (X)) 己 Spl(X” 一 X)， 那 么 g(CX) 的 每 个 根 都 在 
Spl(X" 一 X) 中 。 但 是 ，Sp1(X” 一 X) 是 (X” 一 X) 根 的 一 个 完整 的 集合 ， 所 以 g(X) 的 每 个 
根 也 是 (X” 一 X) 的 根 ， 那 么 g(X) | (X" 一 X)。 
定理 3.1.31 wR g(XX)E [Xj 是 一 个 阶 数 为 d 的 一 个 不 可 约 多 项 式 ， 那么 aE 
Spl(g(X)) 二 Ex[Xj 是 它 的 一 个 根 ，g(X) 的 所 有 根 是 a,ar，…，a* 。 并 且 ，d 是 满足 
ae =a 的 最 小 正 整 数 。 
证 明 如 引 理 3. 1. 24 的 证 明 ，a，a*，…，a”” 是 不 同 的 根 。 所 以 ， 所 有 的 根 已 经 列举 出 
K, d 是 满足 以 上 性 质 的 最 小 正 整数 。 口 
推论 3. 1.32 Spl(g(X)) P, Baw deg gX =d 的 一 个 不 可 约 多 项 式 g(X)E [LX] 的 所 有 根 
含有 相同 的 乘 阶 ， 乘 阶 能 整除 gi 一 ] 并 且 给 定 了 多 项 式 g(X) 的 阶 数 (参见 定义 3. 1. 22)。 

不 可 约 多 项 式 g(X) 的 乘 阶 用 ord(g(X)) 表 示 。 
举例 3. 1.33 (a) 证 明 : 若 自然 数 2，9 满足 lecm(z，9) 王 1， 那 么 存在 一 个 自然 数 s 使 得 
n|(g' 一 1)。(b) HERR: 如 果 一 个 多 项 式 cOCK(XIZAAAN, 4 HA4 ord(g(X)) |n 
时 ,满足 g(X) |(X" 一 1)。 
解答 (a) RE ddlnaa tb, HP b<n, 1=1, 2, =. AAAI, HTL, 
WE b, <b, o BA nig (gz “一 1)， 利 用 条 件 lem(n， O=1, n|(g 一 1), HP s=L—h. 
b) 对 于 一 个 不 可 约 多 项 式 g(X)， 它 的 乘 阶 在 定义 3. 1. 22 中 给 出 。 

ord(g(X)) = min[n:g(X) | (X" —1)] 

首先 ， 我 们 的 目标 是 检查 zx 三 ord(g(XD)) 是 否 成 立 ， 若 成 立 ， 那 么 当 上 且 仅 当 g(X) | (xX"—-1) 

时 ,满足 mx|n。 实 际 上 , 假设 mr|n: n=mr, BA X*—1=(X"—DA+a* +e +X"), 由 
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F g(X) | (X"—- 1), HRS 2 OO | (X"—-1), 
相反 地 ， 如 果 g(XX)|(X" 一 1)， 那 么 g(X) 的 根 a;，…，as 落 在 Spl(X" 一 XX) 的 X" 一 1 
H, WMA, Æ Spl(X” 一 1) 中 ， a S551, 1KjKd. 车 n= 二 mb 十 a， 其 中 0<a<m, HA 
3 三 "Qa? 三 二 1]， 即 每 一 个 &j 都 是 X“ 一 1 的 根 。 HU, MRa>o0, MA g(X)|(X*—-1), 
此 处 矛盾 。 所 以 a==0 A m|n. o 
给 定 一 个 根 aC Fx ， 计 算 一 个 不 可 约 多 项 式 g(X)E€ LX1( 特 别 地 ， 对 于 一 个 最 小 多 
项 式 Mer (X)) 是 不 容易 的 。 EAA qg, n, a 和 dz 三 degM.(CX) 的 关系 是 复杂 的 。 然 而 ， 


Eo" =e, of =w 的 条 件 下 ， 如 果 =o 是 F 中 的 一 个 本 元 元 素 ,， 那么 4 二 n， 并 且 n 是 
满足 这 个 性 质 的 最 小 正 整数 。 在 此 情况 下 MX = [| (X 一。 


ber” 


XTARA, PERMEABLE ae 3. 1. 34。 这 个 概念 在 
2.5 节 中 对 于 集 ®’: 被 非 正式 地 介绍 或 运用 过 。 
定义 3.1.34 ”对 于 两 个 元 素 a, a'EFrm， 若 Maor X) =M, (X), WWA a MaF, 中 被 
PES REN « 

总 结 上 面 的 内 容 ， 我 们 得 到 下 面 的 推论 。 
定理 3.1.35 AF, Lae Fp HMA, d, +, a” EJ"， 其 中 4d 与 上 文 定义 一 致 。 


特别 地 ， [|] (X 一 a”) 中 的 所 有 系数 取 自 配 ， 而 且 它 是 配 [X] 上 唯一 的 具有 根 的 既 约 多 


AA, CLAR] -HAAR a 的 最 低 次 的 首 一 多 项 式 。 
例子 3. 1.36 继续 探讨 例子 3. 1. 28， 我们 利用 [wj 来 确定 瑟 ;。， 其 中 是 一 个 阶 数 为 4 的 
本 原 多 项 式 的 根 而 肪 (w) 是 包含 这 个 根 w 的 最 小 域 。 所 以 ， 如 果 我 们 选择 1 十 X: 十 X', w 
满足 w= 二 1 十 w: ， 如 果 我 们 选择 1 十 X HX, w 满足 ww: 王 1 十 允 。 在 这 两 种 情况 下 ， 共 斩 元 
素 是 w， O's w's ato 

相应 地 ，(3. 1. 2) 的 表格 有 如 下 形式 : 


w WE 1+ X+X 向 量 ( 码 字 ) 1 十 X3 十 Xt 向 量 ( 码 字 ) 


一 0000 0000 
0 1000 1000 
1 0100 0100 
2 0010 0010 
3 0001 0001 
4 1100 1001 
5 0110 1101 
6 0011 1111 C3. 1. 8) 
7 1101 1110 
8 1010 0111 
9 0101 1010 
10 1110 0101 
11 0111 1011 
12 1111 ， 1100 
13 1011 0110 
14 1001 0011 


根据 左边 表格 的 加 法 规则 ， 需 由 的 极 小 多 项 式 Mu CXD)， 在 ;一 1，2，4，8 时 是 1 十 
X+X*, Hi=7, 14, 13, 11 时 是 了 1 十 六! 十 X's 在 4% 二 3 的 遍 2; 9MBItX+X? + 
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X 十 X'， 最 后 在 1 二 5，10 时 是 1 十 X 十 X。 根 据 右边 表格 的 加 法 规则 ， 我 们 需 交 换 多 项 
1+ X+X* A 1+ X*+X*, SHR 1+ X+X*, 14+X+X* 的 阶 数 是 15 多项式 了 十 
X+X*, 14+X°+X* 的 阶 数 是 5， 多 项 式 1 十 X 十 X? 的 阶 数 是 3。 
一 个 获得 答案 的 简洁 办 法 是 求 (w)* 经 由 1，w ，(w')*，(w')’ 的 线性 表达 式 。 比 如 ， 
对 于 w ， 从 左边 表格 可 得 
lw) =o" =e +e +1 
(ol? =e =e +e’ 
容易 看 出 (w')! 二 1 十 (w')*， 由 它 得 到 1 十 X’ 十 X!。 为 了 完整 性 , 写 下 针对 (w')* 的 未 使 用 
表达 式 
lw )2= w“ — ww = (1 +w)’ a (1 十 gg 十 wr + ww 
= w +e +e +e =e +tew+lt+etd+oe=1+e’' 
对 于 Ms (X)， 用 标准 的 办 法 可 以 得 到 一 个 捷径 
Ms (X) = (X—w)(X—w")= Xv +0 )X+e% = XX+1 
所 以 ， 对 于 了 的 所 有 极 小 多 项 式 可 罗列 如 下 
Mo(X) = 1+ X%,.M,(X) = 1+.X% + X* 
Ma (X) = 1+X+X? 4+ X*°+X* 
NM (X) = 1+.X+.X* ,My (X) = 1+X* + X* 
例子 3.1.37 对 于 域 RSEXI/I+X+X), Me PHAR. Rho 
Ci) SFI {w, ws ws ws a 1+X>+X*. 
GR Slee sand iyi 9) 08 hy, Lh eat phe hee oe 
GD Stor ws We ee ey LATA TFA TR. 
Civd Risto sate a a ow J ek ee 
COON ata sD eb ,Gn ,eR 
yy a ah sa Os er re a teak Tees 


所 有 的 极 小 多 项 式 的 阶 数 都 是 31。 
of WRU) oW ”向 量 ( 码 字 ) 
= 00000 15 11111 
0 10000 16 11011 
1 01000 17 11001 
2 00100 18 11000 
3 00010 19 01100 
4 00001 20 00110 
5 10100 21 00011 
6 01010 22 10101 (3. 1.9) 
7 00101 23 11110 
8 10110 24 01111 
9 01011 25 10011 
10 10001 26 11101 
11 11100 27 11010 
12 01110 28 01101 
13 00111 29 10010 


14 10111 30 01001 
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定义 3.1.38 ,上 Fx 的 自 同 构 ( 简 记 为 ，(r，FF,)- 自 同 构 ) 是 一 个 双 射 o; Fn 一 Fn: (a) 
o(at+b)=ala)+o(b); (b) g(ab) 二 a(a)o(b); (c) olc)=c, HTH A a, bEFp, ck, 成 
$, 

定理 3.1.39 (Ex，,)- 自 同 构 的 集合 和 循环 群 避 , 是 同 构 的 ， 其 由 Frobenius 映射 cv Ca) = 
a’, aC Fr 生成 。 

A SoC Rp BARC, BA ow” =e MM(X)CRLXINME w of, oo ot” 
(Er ; 了 )- 自 同 构 zt 可 确定 MOKAR, MUE MAAR STR, MPH, 0< 
j<n-1, E cw) =o". (RHF o 是 本 原 元 ,rt 完全 由 tCw) 确 定 。 那 么 由 于 oy (w) =o" = 
rt(w)， 可 得 r==oy 。 oO 

本 节 的 余下 部 分 都 将 研究 单位 根 ， 即 ，F, 上 多 项 式 X"—e 的 解 ， 其 中 g=p'. p= 

char(F,)。 为 了 不 失 一 般 性 ， 从 现在 起 假设 

gcd(n,g) 二 1]， Wnt q 是 互 素 的 (3. 1. 10) 
事实 上 ， 如 果 n Mg 不 是 互 素 的 ， 可 得 n 二 mp*。 那 么 由 引 理 3.1.5 有 

X"—e= X” —e = (X" — e)” 

这 减少 了 我 们 对 多 项 式 X” —e 的 分 析 。 
定义 3.1.40 ”多项式 X" 一 eE F,[X] 在 分 裂 域 Spl(X" 一 e)= 二 E: 上 的 根 称 为 F, 上 的 n 次 单 
位 根 (或 者 (n，FF,)- 单 位 根 )。 所 有 (Cn，F,)- 单 位 根 的 集合 可 以 用 EB” 表示 。 可 以 证 明 ; 的 
值 是 ;三 1 中 能 够 满足 9' 圭 1 mod n 的 最 小 整数 。 那 么 (参见 下 面 的 定理 3. 1. 44) 。 这 个 事实 
可 以 通过 利用 ord, (O aN 1A s 以 及 称 它 的 阶 数 为 qmodn 反映 。 

在 假设 (3. 1. 10) 下 ， 不 存在 多 重 根 ( 因 为 微分 dx X" — e) =n X RAIRE SPX —e) = 
Fy). PU, #E” =n, 
定理 3. 1. 41 ERE 的 一 个 循环 子 群 。 

证 明 (Rita, BEE”, WAU Sa B) Se, Map 'CE”. MU, BO BRA 
了 的 一 个 子 群 ， 所 以 也 是 循环 的 。 O 
定义 3.1.42 群 &” 的 生成 元 (比如 一 个 次 单位 根 ， 它 的 乘 阶 等 于 n) 称 作 本 原 (n，F,)- 
单位 根 ; 它 可 以 用 6 表示 。 
推论 3. 1. 43 本 原 (n，W)- 单 位 根 的 数目 正好 是 $n)。 特 别 地 ， 本 原 (n， 隐 )- 单 位 根 对 于 
任何 与 g ERHI n 都 存在 。 

上 述 性 质 允 许 我 们 在 分 裂 域 iE: = 二 Spl(X" 一 e) 中 计算 so WR 8B 是 一 个 本 元 (n，F,)- 单 
位 根 ， 那 么 它 的 乘 阶 等 于 n。 因 为 w 关 0， 如 果 p =p, WHwER,, We” =e. 4AW 
当 n|(g' 一 1) 时 上 述 关系 成 立 。 但 是 ; 是 满足 Fy So 的 最 小 ~。 
定理 3.1.44 Spl(X"-e)=F;, HP s 二 ord,;(g) 是 之 1 的 最 小 整数 且 满 足 n|(g' 一 1)， 即 
s 宇 1 中 满足 =l mod n 的 最 小 整数 。 

在 满足 s=ord, (g) 的 域 E: 中 ， 有 必要 去 强调 一 下 本 原 与 本 原 (n，F,)- 单 位 根 的 异同 。 
一 个 本 原 域 元素 o 生成 乘 性 循环 群 F; ，F; ={e, w +, wo “); 其 乘 阶 等 于 g' 一 1。 一 个 
本 元 单位 根 生成 乘 性 循环 群 EE”: BE =e, p, +, PT) ERREF n GHM. g 
作为 一 个 域 元 素 生 成 Fy : Fy = 二,(B) =F, (E” ) 3 Bi 4 B24 n=q'—-1 时 B= 二 w。 实 际 
上 ,我 们 需要 考虑 在 什么 条 件 下 短 o 是 一 个 本 元 单位 根 。 在 举例 3.1.33 中 ， 当 nn|(g' 一 
1) 时 上 述 论 断 成 立 ， 即 gq' 一 1 二 nr。 实 际 上 ， 如 果 kl 满足 

gcd(kynr) = gced(k,g’ —1) =r 


=i 
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那么 元 素 o 是 一 个 本 元 单位 根 ， 因 为 它 的 乘 阶 等 于 
Goi E 
gcd(k,qg’ — 1) r 
4 k=ru 且 5n 互 素 时 上 式 成 立 。 相 反 ， 如 果 是 w 一 个 本 元 单位 根 ， 那 么 gedek, 7 
D=(q-1)/n. 所以， 可 得 下 面 的 定理 。 
定理 3. 1.45 SPH? Aln, F)-AABERHRS, T” ZF; 二 Spl(X" 一 e) 中 本 原 元 的 集 
合 。 那 么 以 下 情况 有 一 个 成 立 ( 让 PNT? SOAR Gi) PY =T”; 当 且 仅 当 nn 三 g' 一 1 时 
HE OL Gi) RZ, 
现在 我 们 可 以 将 上 的 多 项 式 (X”" 一 e) 因 式 分 解 为 多 个 有 关 (n，F,)- 单 位 根 的 不 同 极 
小 多 项 式 的 乘积 : 





= | 


X” — e = Iem(M,(X) :8 E E”) (321... 119 

如 果 从 一 个 本 原 元 w€ EF 开始， 其 中 s=ord,(q), MBA p= 二 w“ 520 是 一 个 本 原单 位 根 
FF HE” ={e, By +s B} 

这 让 我 们 可 以 计算 极 小 多 项 式 My (X)。 对 于 所 有 的 i 二 0，…， n=l, Bi ASEM p, 
Ben, pe, Heber pe =p, d(=dG)) BE pi He 成 立 的 最 小 正 整数 。 这 等 
价 于 n| (io 一 让， 即 iqg’=imod n。 所 以 

M,(X)(= Mg (X)) = (X— pi) (X— pt) X — pt") (3. 1. 12) 
定义 3.1.46 Bi, iq, +, igh RRA M 袜 的 分 圆 陪 集 并 记 为 CGC Ca, qa), 其 
中 d(=d(i)) 4 ig! = 二 imod n 的 最 小 正 整 数 ( 另 一 种 表述 方法 ，C,; 定义 为 非 零 域 元素 w'， 
wt, wot BRA). 
举例 3. 1.47 验证 多 项 式 义 ?十 外 十 2 和 XX 十 2X? 十 1] AF 上 的 本 原 多 项 式 ， 计 算得 到 由 这 
w STK, EM A HIKE, Fo Fy, 的 列表 。 
HA IPF, AF,CX]/(X°+X+2)2A WW. o~X RMF 
w ~ 2X+1,0*° ~ 2X+2,0' ~ 2 
w ~ 2X09 ~ X+2,0' ~X+1,0' ~ 1 
w WA Eo, w). (AA w 二 w)。 那 么 极 小 多 项 式 
M,(X)= (X — wo) (X=) =K — (o+ a7 IX to 
= X?=29X+2= X*+XK+2 
MUL, X°+X+2 是 本 原 多 项 式 。 
EFE, FoF LX]/(X°'+2X°+1), w~X, 可 得 
w ~ X’ w ~ X°+2,0' ~ K HHXH, w ~2X4+2 
wo ~ 2X +2X,w ~r Hl w ~ X HHXH 
w ~ 2X? +2X+2,w ~ X? +2X +1,” 一 X 十 2 
2 
o ~2X?4+X4+1w® ~ X+1,w ~ X?+X 
we a 2X? + 2,07 ~ 2X? +2X+1,0% ~ X?4+X+1 
oO 2X12 04 ~ 2X 1,0 ~ 2K? + Xia" ~ 1 
Fa Lo 的 分 圆 陪 集 是 {w，w; ，w*}。 最 终 可 得 本 原 多 项 式 是 
M,(X)= (Xo) (X >o MX — w) 
= X — løt o +w) X? 4+ lw +o” +0”) X—w" 
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= K?+ 2X? +1 fe 
#6) 3.1.48 (a) FRAP EH SRA X*—-1(n=15, q=2). PA w=2, s= 
ordis (2)=4, Spl(X*®—-1)=Fy = Fso 
多 项 式 g(X)=14+X4+X 是 本 原 的 : 
在 四 中， 多 项 式 的 所 有 根 都 是 本 原 的 。 所 以 ， 本 原 (15，FF,)- 单 位 根 是 
B= gees = 
Av, SRA XS—-1 MRA 1, Boe, PY. HFECNHRDSRACBHA 
例 3. 1. 36 中 计算 出 。 所 以 ， 我 们 可 以 得 到 因 式 分 解 
X®—1=(0+XY04+X4+X04+X4+X?7+ X8 +X") 
K+ K+ X7)(1+4+ XP4+ XD) 
(b) 已 知 一 个 分 圆 陪 集 ， 我 们 可 以 证 明 关 于 X" 一 e 的 一 个 特殊 分 解 中 含有 不 可 约 的 因 
F, AF, 上 的 多 项 式 XX? 一 1(n 二 15，g 二 2) 为 例 来 具体 说 明 。 这 里 存在 三 个 分 圆 陪 集 
Cy 0}. GP = 4158.4 Bs hs oe — 435.07 
相应 的 极 小 多 项 式 的 阶 数 为 分 别 为 1，6 fo 2, Bp 
1+XI+X+X 和 14X4+%X 








由 此 可 得 
X-1=04+X)04+X4+X")04+ X*4+ X°) 
O RE TEF 上 多 项 式 的 本 原 性 
f(X) 二 1 十 和 十 X 
Hh n=6, q=2, KH, 2°—-1=63=3' -7, AW 63/3=—21, A 3? |ord(f(X)) OX" —-1F 
0 mod(1+X+X*), {A X2=1+X+X?+X'+X°1 mod OXX), FLA 3? | ord 
(fCX)). 

HER, AW 63/7=9, 7|ord( f(X))SX*—140 mod(1+X+X*), (AS X*=1+ 
X°+X'Al mod(1+X+X°), HMA Z| ord( f(X)). A. ord( f(X))=63, fOORAR 
的 。 下 面 的 定理 3.1.53 说 明 ， 因 为 2=1 mod 63, 任何 阶 为 63 的 既 约 多 项 式 的 次 数 为 6。 

(d) 下 面 再 次 考虑 F, 上 的 多 项 式 

g(X) =14+X4X?4+x'+xX° 
(其 中 n=6, q=2 和 前 一 个 例子 一 样 ) IRR, 3° |ord(g(X) GX" Al mod(1+X+ X’ + 
X'+X*), Ril, AF 中 
X®—1=(+X)01+X4+X2)14+X+X*)14+ X? +X) 
X (1 十 X 十 X2 十 X: 十 Xe)(1 十 X2: HX +X HX’) 
于 是 有 X2 —1=0 mod(1+X+X?+X'+X°)=1, PRL 3° 不 能 整除 ord(g(X))。 

EFK, 3|ord(e(X)) OX Fl md I t+ X+X*4+X*4+ RX), AF X =(X+X + 
X°+X°)A1l mod(1+X+X?+X'+X°), FFL 3 是 ord(g(X) M—-tTAF. 

Bin, Tlord(g(X OX 41 mod +X + +R ER, E XSH XSI 
mod(1+X+X?+X'+X°). 7 是 ordCg(CX)) 的 一 个 因子 ， 所 以 ord(g(X))=21. 

下 面 总 结 一 下 极 小 多 项 式 和 单位 根 的 一 些 结 论 。 从 定理 3.1.25 可 知 ， 对 于 所 有 整数 
d>1 和 所 有 = 加， 其 中 力 是 一 个 素数 ，* 是 大 于 1 的 整数 ， 存 在 一 个 阶 为 d 的 本 原 多 项 
式 ， 例 如 M, X), HP o EEÆERFe 中 的 一 个 本 原 元 。 另 一 方面 ， 对 于 所 有 阶 为 4 HRA 
多 项 式 f(X)EF,[X], 它 的 根 都 在 域 Spl(f(X)) 二 Fx 中 并 且 和 ord(f(X)) 具 有 相同 的 
乘 阶 。 
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定理 3.1.49 考虑 阶 为 d 的 既 约 多 项 式 f(X)EF[Xj 且 ord( f(X)) =, MA: 

CEAR DY 

(b) # F(X) | (X'—e). 

(ec) SH f(X)| X"—e) wt, Cn. 

(d) ¢ 是 使 得 f(X) | CX!) MEHR) ERK, 
证 明 (a) Spl(f(X)) = Fps HU f(X) 的 每 一 个 根 a HEX” -一 e WR, 所 以 有 
ord(a) | (q?—1). 

Cb) Spl(f(X)) 上 fC(X) 的 每 一 个 根 a 有 ord(a)=l, (X —e) HWA tL, PRL, 
F(X) | CX*—e), 

Co) 如 果 A(X) |(X”" 一 e),， MA f(X) 的 每 一 个 根 也 是 X 一 e 的 根 ， 也 就 是 说 ， 
ordla) |n, FELA, 2ln. FARM, A n=kl, 那么 由 (b) 可 得 (X' 一 e) | (X¥—e), f(X)| (X"—e), 

(d) 与 (c) 证 法 一 致 。 口 
定理 3. 1.50 车 JJCX)E 职 LX] 是 一 个 次 数 为 忆 阶 数 为 & 的 既 约 多 项 式 ， 那 么 有 d=ord lq). 
证 明 如 果 a€E Fx 目 fla)=0, 根据 定理 3.1.29 WBF, (a)=Fe=Spl(f(X)), Ba 也 
是 一 个 本 原 (L，Fx)- 单 位 根 ， 所 以 名 (a) = F,(E° )=Spl(X'—e) =F, , Ht s=ord,(q). 
所 以 ,d= 二 ord,(g)。 LJ 
举例 3.1.51 利用 Frobenius 映射 6: ama! 证 明 每 个 元 素 aC Rn 有 唯一 的 g HR, j=l, oe, 
a=. 

假设 q=p LAK. EME, 中 正好 有 一 半 的 非 零 元 素 有 平方 根 。 
解答 Frobenius 映射 是 一 个 双 射 Fr 一 Fx。 所 以 ， 对 于 所 有 5E€ Fx ， 存 在 唯一 的 a 满足 
a'=b(q RIR), PRAY 7 UGE Ro’: ama! 也 是 一 个 双 射 ， 所 以 对 于 所 有 bE Fx ， 存 在 一 
个 唯一 的 a 满足 a” ==b6。 观 察 得 到 ， 对 于 所 有 cE 都 满足 cv =c, 

现在 考虑 一 个 乘 性 同 态 映 射 rc: ata’, >R. WR GRAM, WKAR SZARA 
偶数 个 元 素 g 一 1。 我 们 想 证 明 若 tC(a) = 二 6， 那 么 1(5) 由 两 个 元 素 组 成 ， 即 a 和 一 a。 实 
mE, r(—a)=6. ARR. rla) =b, BA c(a'a ')==e。 

所 以 ， 我们 想 分 析 rt =le), MR, teEr'te),. HAH. WHR o 是 一 个 本 原 元 ， 
那么 rw? "=e" 1! 二 e, ir eO eS Mo 组 成 。 所 以 wt?2 二 一 6。 

现在 ， 如 果 tla'a 1 )=e， 可 得 aa =e fla'=ta, MU, c 精 确 地 将 两 个 元 素 a 
和 一 a 映射 到 相同 的 像 ， 所 以 它 的 范围 r(F; ) 是 下 的 一 半 。 口 
定理 3. 1. 52 (参考 文献 [92 ]， 定 理 3. 46) 考 虑 阶 数 为 nn 的 既 约 多 项 式 p(X)EF[Xj]。 令 
m=gcd(d, n), Z m|n 并 且 p(X) 可 以 在 Fa 中 因 式 分 解 为 m 个 各 自 阶 数 为 n|m 的 既 约 
多 项 式 。 所 以 ， 当 且 仅 当 m=1 时 ，p(X) 是 Fi 中 不 可 约 的 。 
定理 3. 1. 53 (参考 文献 [92]， 定 理 3.5) 令 gcd(d，g) 二 1。 如 果 lL 宇 2， 次 数 为 qd 而 阶 数 
为 6 的 首 一 既 约 多 项 式 的 个 数 等 于 $8(L)/d HAA d=ord(q); %4 /=5d=1, HAXA 2; 
对 于 其 他 所 有 情况 ， 该 个 数 为 0。 

特别 地 ， 一 个 4 阶 既 约 多 项 式 的 次 数 总 是 等 于 ord,(g)， 即 满足 g=1 mod ¢ 的 最 小 so 
这 里 $(4) 是 Euler KK. 

我 们 略 去 定理 3. 1. 52 和 3. 1.53 的 证 明 ( 参 考 文献 L[92]) 。 我 们 只 对 定理 3. 1. 53 做 一 
ARATE. WR, pO, d 次 既 约 多 项 式 p(X) 的 阶 和 乘法 群 Fx 中 多 项 式 根 的 阶 
一 致 。 所 以 ， 当 上 且 仅 当 d= 二 ord,(g)， 阶 是 6，p(X) 整 除 所 谓 的 循环 多 项 式 
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Ox) = -TP x=o 


实际 上 ， 循 环 多 项 式 可 以 分 解 为 次 数 为 &=ord'(d) 的 既 约 多 项 式 的 乘积 ， 数 量 是 
$(2)/d, FEd=l=1 情况 下 ， 多 项 式 pOO=X 也 应 被 考虑 进去 。) 

下 面 对 以 上 有 限 域 基本 理论 做 简要 总 结 。 
总 结 3. 1. 54 ”一 个 域 是 一 个 环 ， 它 的 非 零 元 素 在 乘法 运算 下 构成 一 个 交换 群 。(i) 任何 有 
Rik FEA g=p 个 元 素 ， 其 中 p 是 一 个 素数 ， 域 的 特征 值 char =p., GDE ICR A 
量 相 同 的 两 个 有 限 域 是 同 构 的 。 所 以 ， 对 于 给 定 9 二 pr， 存在 ( 同 构 下 ) 唯 一 的 包含 g 个 元 
素 的 域 ; 这 个 域 可 以 用 FF, 表示 (通常 它 也 被 称 作 大 小 为 4 的 Galois 域 );。 当 g 是 素数 时 ， 域 
F, 与 元 素 个 数 为 bp 的 加 法 循环 群 Z, ERA. GDF 中 的 非 零 元 素 构 成 乘法 群 F;，F; 
与 元 素 个 数 为 gq 一 1 的 加 法 循环 群 Z,_1 同 构 。(iv) 当 且 仅 当 xlg it, ME, 包含 子 域 F,; 在 这 
种 情况 下 ，F, SF, 上 ( 即 线性 组 合 系 数 取 自 包 中 ) 的 线性 空间 同 构 ， 其 维 数 是 log, (ca/r) 。 
所 以 ,每 一 个 素数 p 可 引出 一 系列 有 限 域 F; ，s 二 1]，2,，…。 一 个 生成 乘法 群 F 的 元 素 
wEF 称 为 F, 的 本 原 元 。 
总 结 3. 1.55 F 上 的 多 项 式 环 可 以 用 F,LXj] 表 示 ; 如 果 考 虑 对 取 自 ELX] 中 的 多 项 式 
g(X) 求 余 ， 对 应 得 到 的 多 项 式 环 可 以 表示 为 ELX]/(g(X))。(i) 当 且 仅 当 g(X) 在 FE 上 不 
可 约 时 ， 环 [Xj]/(g(X)) 是 一 个 域 ( 即 ， 不 存在 一 个 分 解 gp OO = 21 (X) 22 (X), HP deg 
(g1(X)),，deg(gs(X))=deg(g(X)))。( 让 对 于 任意 g MERS d, FEF, 上 次 数 为 d 的 
既 约 多 项 式 g(X)。Gii) 如 果 g(X) 不 可 约 且 deg g(X)= 二 d， 那 么 域 包 [X]/(g(X)) 包 含 q 
个 元 素 ， 即 包 [X]/(g(X)) 和 Ex 是 同 构 的 ， 归 属于 与 相同 的 域 系 ( 即 ，char( Fx) 二 
char(F,)). 
总 结 3. 1.56 ”添加 有 限 族 元 素 a. a FE 的 扩 域 (包含 于 相同 的 系列 的 一 个 更 大 的 域 
PEBER, 和 a;，1 志 i<u 的 最 小 域 。 这 样 的 扩 域 表示 为 EE ao o a). (GD 对 于 任意 首 一 
多 项 式 p(X)E [Xj]， 存 在 一 个 更 大 的 与 同系 的 域 , "使 得 p(X) 可 以 在 E' 中 分 解 : 


p(X) = II (X —a;),u = degp (X) sai s**a, € Fy (3. 1. 13) 
AH EEA MRR, CDE, (a ，…，a,)) 被 称 为 p(X) 的 一 个 分 列 域 ;我 们 也 可 以 
说 p(X) 在 F(a ，…，as) 上 分 裂 。p(X) 的 分 裂 域 可 用 Spl(p(X)) 表 示 ; 当 且 仅 当 p(a)= 


0 时 ， 元 素 aE Spl(p(X)) 参 与 分 解 。 分 裂 域 Spl(p(X)) 可 以 用 一 个 集合 {g(a;)} 描 述 ， 其 
中 j 二 1，…，u，g(X)E[X] 是 次 数 小 于 deg(p(X)) 的 多 项 式 。(ii) 域 为 多 项 式 X' 一 
XR. Gime d 次 多 项 式 在 F, 中 不 可 约 ， 其 a 是 p(X) 在 域 Spl(p(X)) 中 的 一 个 根 ， 
那么 Fx 二 FLX]/(p(X)) 和 F(a) 是 同 构 的 ，p(X) 在 域 Spl(p(X)) 中 的 所 有 根 可 以 用 共 思 
TH a, a, d, e, a 表示。 所 以 ，d 是 满足 a” =a 的 最 小 正 整 数 。(iv) 假 设 对 于 一 个 
给 定 的 域 E， 一 个 首 一 多 项 式 p(X)E F,[X] 和 一 个 更 大 域 中 的 元 素 a， 我们 可 得 p(a)==0。 
那么 ， 存 在 唯一 的 极 小 多 项 式 M,(X) 且 具有 性 质 M, (a) 二 0( 即 其 他 满足 pla) =0 的 多 项 式 
p(X) 都 可 以 被 M,(X) 整 除 )。 多 项 式 M, (X) ERF, 中 唯一 在 a 处 取 零 的 既 约 多 项 式 。 它 同 
时 也 是 唯一 在 a 处 取 零 的 最 低 次 多 项 式 。 我 们 称 M (XH a ERF, 上 的 极 小 多 项 式 。 如 
Ro 是 Fx 的 一 个 本 原 元 ,那么 MOO ERF, PF 的 本 原 多 项 式 。 如 果 元 素 a，BE Fx 拥有 
相同 的 极 小 多 项 式 ， 那 么 它们 在 FE, BIN. (TER, PaE Re ASEH a, a’, as, 
a, Hep d 是 满足 a” =a 的 最 小 正 整数 。 当 a= 并 且 g 是 一 个 本 原 元 时 ， 共 堪 集 与 分 


Pe ao | 
iq 


圆 陪 集 Ci={w', Ws SPE yey } 关 联 。 
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总 结 3.1.57 MERE n Ma=p 互 素 ， 并 考虑 X"—e, X"—e 在 分 裂 域 Spl(X" 一 e) 上 的 
METER, 中 的 n 次 单位 根 。 所 有 nn 次 单位 根 的 集合 用 E, a. ORE E 是 域 Sp1(X" 一 
e) 中 一 个 乘法 群 的 n 阶 循环 子 群 。 生 成 E, 的 n 次 单位 根 称 为 本 原单 位 根 。( 让 如 果 i: 是 
Spl(X" 一 e)， 那 么 ;是 满足 n|1(g' 一 1) 的 最 小 正 整 数 。(Giii) 令 || HF, 中 次 本 原单 位 根 的 


RE, ©, 是 分 裂 域 Fy 二 Spl(X' 一 e) 的 本 原 元 的 集合 。 那 么 J 站 到 和 性 或 | 下 = 可， 当 
且 仅 当 n=gq' 一 1 时 后 面 的 式 子 成 立 。 


3.2 Reed-Solomon 编码 ， 再 论 BCH 编码 


从 现在 开始 ， 我 们 考虑 有 限 域 了 E 及 其 同 构 ， 但 在 茶 些 情况 下 也 会 涉及 一 个 特定 的 关于 
域 的 表格 (例如 ， 经 由 指定 了 E: AFX] eX), AP P(X)E FLXj 是 :次 既 约 多 项 式 )。 
在 定义 2. 5. 37 中 ， 我 们 介绍 了 狭义 二 进 制 BCH 编码 。 在 本 节 中 ， 我 们 会 继续 讨论 长 
度 为 N 的 g 进 制 BCH WZA ou BERA o METR o, s ARR; 参见 下 
面 的 定义 3.2.7。 在 这 之 前 ， 我们 先 讨论 BCH 码 中 一 类 有 趣 的 特例 ， 这 类 码 实际 上 由 
Reed-Solomon(RS) 码 构成 ; 我 们 将 会 看 到 ， 由 于 RS 码 是 MDS 的 (最 大 距离 可 分 的 )， 这 
个 事实 有 助 我 们 的 分 析 。 
定义 3.2.1 给 定 g 三 3, 一 个 g 进 制 Reed-Solomon 码 由 一 个 长 度 为 N=q—-1 的 循环 编码 
定义 ， 其 生成 多 项 式 是 
g(X) = (XK— wR— 0") — a) (3.8, 19 
其 中 98 和 9 BHM, 1<d, b<q—-1, w HF, 中 的 本 原 元 (或 者 等 价 地 说 ， 一 个 本 原 N 次 单 
位 根 )。 这 样 的 编码 可 以 用 多 ”( 王 和 光 BM o 
根据 定义 3. 2.7，RS BTML” ,yw 表示 ， 即 一 个 (q 一 1) 长 的 5 HE BCH 码 ， 距 离 
是 $。 当 码 长 为 g 一 1=1 时 ,不 存在 合理 定义 的 二 进 制 RS 编码 。 注 意 在 域 EE 字母 表 中 ， 
非 零 元 素 的 个 数 是 g 一 1。 并 且 ， 对 于 N= 二 gq 一 1， 可 得 
XN—e= Xes [| (X= 
aEF 
(因为 分 裂 域 SPX -DHEER EAT, w 是 一 个 本 原 (g 一 1，F,)- 单 位 根 
(或 中 的 本 原 元 ) ， 对 于 所 有 ;二 0，…，N 一 1， 极 小 多 项 式 M;(X) 就 是 Xw. 
一 个 重要 的 性 质 是 RS 码 是 最 大 距离 可 分 的 。 实 际 上 ， 性 ,的 生成 多 项 式 g(X) 中 
deg g(X)=d—-1,. PFU, RRA PRAM 
k= dim Z nha = N—deg g(X) = N-01 i ae 
由 广义 BCH 界 ( 参 见 下 面 的 定理 3. 2.9) 可 得 最 小 距离 
UE ww) Se= N k+l 
但 是 Singleton 界 指出 d(2™)<N—k+1. PRL, 
dB.) =N—-k+1=8 (3. 2. 3) 
所 以 在 所 有 码 长 度 为 g 一 1， 维 数 为 k=q— W qa 进 制 码 中 ，RS 码 具 有 最 大 的 最 小 码 
距离 。 总 结 来 说 ， 我 们 得 到 
定理 3.2.2 AALS 2 MDS， 具 有 距离 8 和 秩 g 一 6。 
BCH 码 的 对 偶 并 不 总 是 BCH 码 。 但 有 如 下 定理 。 
定理 3. 2.3 ”RS 码 的 对 偶 码 也 是 RS 码 。 
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证 明 TERRE, AAA t= BE taae 口 
定理 3.2.4 令 &Y “为 [LN, k，6]RS 码 ， 那 么 它 的 奇偶 校 验 扩展 是 一 个 [LN 十 1]，k，6 十 1] 
码 ， 距 离 比 .As 大 。 

证 明 Sc X) Heo te Xt +ey- XV ELS, EEH wle(X))=s, EWP EAX) 
c(X)+eyX%, cen=— D c=—cle). FUER cle) 40, 所 以 有 we (X)) =t. 


为 了 简化 标记 ， 假 设 b=1, SA HAMS MRW g(X)=(X—w) (X—- a") (X— 
a), MER pX), SeX) =g pX), HMB cle)=pledg(e). BR, WF 
A i=l, =, 0-1, AW oHe, MUA e(e)A0. MR ple) =0, ZHR g,(X)=(X—e) 
g(X) 能 够 整除 c(X)， WBA NEX), HP g CX) = (Xe) (X—w) Xa), 
也 就 是 说 ，(gi(X)) 是 BCH 码 ， 距 离 大 于 6 十 1。 但 是 这 和 c(CX) 的 选择 矛盾 。 口 

RS 码 有 专属 的 (也 是 优美 的 ) 编 解码 步骤 。 考 虑 一 个 长 为 N= 二 g 一 1 的 LN,，k，6j 码 


K=, SFB BPS aya, 令 a(X) = 二 >) wz 并 将 其 编码 为 cCX) = J) a)X’, 


[| 0<j<N-1 


为 了 证 明 c(X)E&ss ， 必 须 检验 cw) =" =clw® ')=0, HF a(X) 视 为 满足 a =0 的 多 项 
x J) aX', ik, 利 用 下 面 的 引 理 


0<i< N— 
BIH 3.2.5 Aal X) =a Ha X+ +a X ERIX], oF, PHAN, RAR 
单位 根 ，N 一 q 一 1。 那 么 

pe Se (3. 2. 4) 


0Sj<N-1 


我 们 把 对 上 述 引 理 的 证 明 放 在 引 理 3. 2.12 的 后 面 。 
根据 引 理 3. 2. 5 


fest els J spas ah: =i asil y N-i 
a; Nyon, tad eo Ne a) = ew) 


可 得 c(w’) = Nay-;. F OS jJ<6—-1=N—k, clw’)=Nay-;=0. Ast, (RET, 
此 外 ， 原 始 的 消息 可 以 很 容易 地 从 (X): a= ye (eo) RSE 


对 接收 到 的 码 字 x(CX)=c(CX) 十 eCX) 进 行 解 码 ， 记 
Ui =c te =e +al@'),0<i<N-1 
然后 得 到 
而 -三 &) + ao Fay + + ae 
uy =e ta tawts +a 0°" 


uz = €z + ao + aya" + ay Haw 了 


Ws KC +a, Hajo? ses + apro MPP 
如 果 没 有 误 码 ， 即 @ 王 … 一 en-1 二 0， 这 些 等 式 中 的 任何 都 可 对 个 未 知 量 求解 ， 
因为 对 应 的 矩阵 是 Vandermond 和 矩阵。 实际 上 ， 对 于 任意 错误 向 量 ， 由 任意 & 个 等 式 构成 
的 子 系统 都 可 以 求解 (而 这 个 解 是 否 能 给 出 正确 的 序列 di ，*…，ai_1 则 是 另外 一 个 问题 )。 
现在 假设 出 现 t 个 错误 ， :二 N 一 k&。 称 e=0 为 好 的 等 式 ，e; 关 0 为 坏 的 等 式 ， 那 么 我 
们 有 zt 个 坏 等 式 ，N 一 t 个 好 的 等 式 。 如 果 我 们 求解 所 有 由 有 个 等 式 构成 的 子 系统 ， 那 么 含 


N— 
有 个 好 等 式 的 | ; ‘| 个子 系统 将 给 ais 的 正确 值 。 并 且 ， 一 个 给 定 的 错误 解 不 会 满足 
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任意 & 个 好 等 式 ; 它 最 多 可 以 满足 & 一 1 个 正确 的 等 式 。 此 外 ， 它 至 多 可 以 满足 :个 不 正确 
WER. MA, Eee k—1 个 等 式 的 解 ， 即 在 由 不 个 等 式 构 成 的 子 系统 中 它 可 被 求解 乏 


ik 
(Ha. sio, an 


aig Pac | 
ss 
k k 
N 
大 部 分 从 |e as 的 正确 值 。 当 且 仅 当 N—-ci+k—-1 if, B 6 二 NN 一 


& 十 1 之 2 时 ， 最 后 一 个 不 等 式 成 立 。 所 以 我 们 有 : 
定理 3. 2.6 对 于 一 个 [N, k, RSA, KHERA TAHAE it<<8/2 个 错 
误 ， 代 价 是 必须 求解 a 个 包含 上 Xk 个 等 式 的 系统 。 

Reed-Solomon 人 码 在 1960 年 由 Irving S. Reed 和 Gustave Solomon 发 现 ， 他 们 那 时 都 
在 MIT 的 林肯 实验 室 工 作 。 他 们 合作 的 文章 发 表 后 ， 针 对 这 些 编码 的 有 效率 译 码 算法 尚 
未 出 现 。 在 1969 年 由 Elwyn Berlekamp 和 James Massey 共同 发 现 了 译 码 算法 ， 从 此 命名 
为 Berlekamp-Massey 译 码 算法 (参见 [20]); 详 见 3.3 节 。 之 后 ， 其 他 的 算法 也 陆续 被 提 
出 : 连续 分 式 算法 和 欧 几 里 得 算法 (参见 [112])。 

在 整个 20 世纪 70 年 代 和 80 年 代 ，Reed-Solomon 码 经 常 与 其 他 一 些 码 结合 ， 在 美国 
宇宙 飞船 传输 数码 照片 方面 扮演 了 重要 角色 。 虽 然 turbo 码 的 问世 为 编译 码 提供 了 更 多 的 
选择 ， 这 些 编码 在 现代 空间 宇航 任务 中 依然 起 到 显著 的 作用 。 

Reed-Solomon 码 同时 也 对 CD 和 数码 游戏 的 生产 起 到 了 关键 作用 。 其 中 涉及 的 编 解 码 
方法 ， 可 以 纠正 至 多 4000 个 连续 突 发 错误 (这 相当 于 CD 表面 上 2. 5mm 的 长 度 ) 。 
定义 3.2.7 一 个 参数 为 gs，N，5，w, b 的 BCH BR ,ww 是 NN 长 g AAEREN = 
g(X))， 它 距离 为 6， 生 成 多 项 式 是 

g(X) = lem(M (X), Mpu CX) yo Met? (X)) (3. 2.5) 
即 

和 No = (FX) € ELX]mod(X™ —1); 
floty) = 00 Li 2} 

如 果 5b 二 1， 这 是 一 个 狭义 BCH 码 。 如 果 中 是 第 N 个 本 原单 位 根 ， 即 多 项 式 X :的 一 个 
本 原 根 ， 那 么 BCH 码 被 称 为 本 原 的 。( 在 条 件 ged(g，N)=1 下， 这 些 根 组 成 一 个 N 阶 可 
交换 乘 性 群 ， 其 中 o 是 这 个 群 的 生成 元 。) 
引 理 3.2.8 BCH BQ, HRI BSS. 
证 明 为 了 不 失 一 般 性 ， 我 们 考虑 一 个 狭义 码 。 奇 偶 检 验 矩阵 (6 一 1)XN 是 


1 w w ses oon 
1 wo wt acm WD 
A= 
1 gt? gle ws 
党 中 的 码 字 满足 矩阵 H 列 之 间 的 线性 相关 关系 。 引 理 2. 5. 40 KAER H 的 任意 6 一 1 列 
MERHEIM. Si. HERAT ob. oe, wh AA, 其 中 OR, << ky, KN 


1。 它 们 构成 一 个 (6 一 1) X (6 一 1) 的 方 阵 
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w . 1 w . ‘ti wee wt . 1: 
wt e wi wie ega see wR « wt 
= . 
A E T A wee A T O @D 


因为 在 第 * 列 前 面 存在 因子 w*， 上 述 和 矩阵 和 Vandermonde 矩阵 不 一 样 。 于 是 D 的 行列 式 
有 如 下 乘积 表示 

1 1 eos 1 
w! w? 228 we 


6-1 
detD= ( [[ a) 
s=1 


wi? TD ane gaa OD) 


= Het )x (TT cot —w'i))#0 

矩阵 百 中 任意 8 一 1 的 列 确实 都 是 线性 独立 的 。 反 过 来 说 ， 这 表明 和 中 的 任意 非 零 码 字 的 
重量 至 少 是 S。 因 此 ， 必 的 最 小 距离 至 少 大 于 等 于 6。 Oo 
定理 3.2.9 (广义 的 BCH 界 ) 令 由 是 第 N ARH ER, 651, r>l 和 6 二 2 是 整数 ， 
gcd(r，N) 王 1。 考 虑 一 个 N KMRBL=(2(X)), BP ce ORB elo) =e JH = 
gla???) =0 的 最 低 次 首 一 多 项 式 。 证 明 d(M)>S0. 

证 明 AX gedir, N)=1, w 是 一 个 本 原单 位 根 。 所 以 ， 我 们 可 以 重复 上 述 证 明 ， 用 
bru R&b, Hep ru Khrut+Nv=1 得 到 ， 另 外 一 种 解法 : (6 一 1) XN 矩阵 


1 wee 1 
wr wer one P A eke 
2b 2¢b+r) oe 2¢6H(a—2)1) 
w w w 
oo er wee Pe 


检查 码 X==(g(X))。 选 取 任意 一 个 它 的 (6 一 1) X (6 一 1) 子 矩阵 ， 可 以 考虑 其 中 的 列 为 记过 
i H D= D ) 表 示 该 子 矩 阵 。 那么 
detD= I] wt * det(g i Pe ) 


1<i<é@-l 


= I} w P’ det( Vandermonde) + 0 


1<i<ée-1 


因为 gcdCr，N) 王 1。 所 以 d(X) Se, Oo 
举例 3.2.10 wo RF, 扩 域 中 第 一 个 n 次 本 原单 位 根 , a(X) = >) aiX' 是 次 数 至 多 为 nn 一 
0Si<n-1 
1 #& AA., Mattson-Solomon 多 项 式 定义 如 下 
ays(X) = >) alw X (3. 2. 6) 
j=1 


J 


A q=2 mm a(X) € F,LX]/<(X"—1), 证 明 Mattson-Solomon 多 项 式 am (XARF H, P 
ALF, CX) /(X" —1) P aws (X) Says (XD). 

解答 令 a(X)= 2 aX’, 那么 由 引 理 3. 2.5 可 知 na, =ays(w'), OSi<n—-1. € F, 
H, (na;)?=na;, BUA ams (wi)? 二 ams (wi)。 对 于 多 项 式 ; b? (XX) 代 表 孔 [X] 中 的 平方 ， 
b( 义 )? 代 表 玉 [Xj/《X" 一 1) 中 的 平方 : 
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b® (X) = c(X)(X" —1) +b (X)? 
那么 
ams (X) | x-a = Cams(X) 下 xu) = amg (X) Nx- 
= ays(X)? } x, 
即 多 项 式 ams XD? 和 ams (X) 都 满足 w =e, w oo, wo : 。 把 上 式 写成 矩阵 形式 ，avs(X) 一 
mim A Fha mg Xs ans CX)? =o ns X He Fayre Xk” |: 


e e eee e 
are w a 
(ams — AMS ) : : - : = 0 
2 
e eit =a ahi 


因为 矩阵 是 Vandermonde WH, EMAAR 
[II (@ =e") 0 


0<i<j<r-l 
Hauran o 所 以 ， aus (X) =amsg(X)’ a 局 
定义 3.2.11 Sv=Hnu with, 中 的 向 量 ，o BF, 中 本 原 CN，F,)- 单 位 根 。 向 量 v 的 


Fourier 变换 是 向 量 V= 二 VoVi…Vn_1， 其 中 的 每 一 项 是 


N-1 


V; = Qo’: jj =0,,N—1 (3. 2.7) 
引 理 3. 2. 12 (RAR) A Me FAR, 向 量 v 可 以 从 它 的 Fourier LRV 中 恢复 为 
N-1 
u= dw; (3. 2. 8) 


证 明 EE X —1=(X—1)( X+- + X4D RP, wo KREN, MRE’, w 是 
(上 述 多 项 式 )LHS 的 零点 。 所 以 ， 对 于 所 有 r+ 关 0 mod, w 是 (上 述 多 项 式 ) 最 后 一 项 的 一 
个 零 ， 即 


Nes 


So? = 0 mod N 
另 一 方面 ， WF r=0 4 

N=! 

Dw = N mod p 


如 果 N 不 是 域 特征 p 的 倍数 ， 上 式 就 不 为 零 。 (UE g—1=p'-1 是 N 倍数 ， 所 以 N 不 是 
p 倍数。 所 以 ，N 关 0 modp。 最 后 ， ri ci al 


N-1 N= 
BY Kw Set =o = 
证 明 引 理 3.2.5 4 a(X) 王 ao 十 aiX 十 十 acN_IX IE 了 RLX]，ow 是 本 元 单位 根 (N， 职 )。 
那么 
N” DD alw Jw = N? ss oh aww? 


0<j<N-1 0<j<N-1 0<k<N-1 


=N.: “> ak 法 ot 


OSk4=N-1 0<j<N-} 


N” S aN ôu = 


O<k<N-1 


II 


XE, YFISKN-1, w#1l H 
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») of = (af)! = (e— Cot)") (e— af) = 0 
0<j<N-1 0<j<N-1 
得 到 
ai = — alw w ? G3: 2.9) 
NEENA as 


o 
举例 3. 2. 13 给 出 BCH 界 的 另外 一 种 证 明 方 法 : 令 由 是 为 本 原 (N， 了 配 )- 单 位 根 ，0 之 1， 
0 过 2 是 整数 ， 令 YN 一 (8(CX)) 是 一 个 循环 编码 ， 其 中 CO CKLXI/( X-RAY A 
一 多 项 式 且 具 有 根 迪 ， 迪 ，…，ow 3 ， 那 么 多 的 最 小 距离 至 少 是 6。 
解答 令 a(X) = 》) ajXi © Ry WE e(X) |a XM alw')=0Ci=b, =, 6 十 6 一 2)。 


0<j<N-1 


考虑 a(X) AY Mattson-Solomon 多 项 式 cys (X): 
ews (2) = ear NE ST ae 


0<i<N-1 0<i<N-1 
= aie 
1<i<N 
= >) ale XX +0 +6 + 00K B why a") 
1<j<t-1 
aah?) XN 4 woe + ay) (3. 2. 10) 


HEV, X “并 合并 同类 项 得 到 
X cys CX) Salo) XN p e Ha low XY 
Falot KN + ee Hala 
= XNR | 
+ [a a?) XN + oe + alao] 
=X p (X) +q(X) 
= (XK — epi CX) +p ok XD 
可 以 看 出 当 且 仅 当 piw) talw = 时 ，cms(w) 二 0。 但 是 p(X) +q XK) B—TREKN 
一 6 的 多 项 式 ， 所 以 它 至 多 有 N 一 6 个 根 。 所 以 ，cms (XX) 至 多 有 N 一 9 个 形 为 的 根 。 
所 以 ， 反 演 式 (3. 2.8) 表 明 重 量 wla(X))( 即 系数 序列 ao…an_1 的 重量 ) 遵 循 
wla(X)) > N—cus (X) 中 具有 形 如 w' 的 根 的 数量 (3.2. 11) 
即 
wA NN SEN E= S 口 
在 本 节 结 束 之 前 ， 我 们 简单 讨论 一 下 一 种 列表 译 码 Reed-Solomon 码 的 算法 ， 即 
Guruswami-Sudan 算法 。 首 先 ， 我 们 需要 用 另外 一 种 描述 方法 表示 Reed-Solomon #9 (在 
Reed 和 Solomon 联合 发 表 的 文章 中 已 经 完成 了 这 项 工作 )。 为 了 简洁 ， 考 虑 5b 二 1( 但 是 可 
以 扩展 定义 到 任意 N>q-1). 
给 定 N<q, 令 5={z1，…，xn}Ch, 是 F, 中方 个 取 值 不 同 点 的 集合 (一 个 支撑 集 )。 
& Ev 表示 赋值 映射 
Ev: f E RIX] > Ev(f) = (f(a), flan) € FI 3,25 12) 
考虑 
L=({f € FLX]:degf < k} (8, :2013) 
那么 N Kq 进 制 Reed-Solomon #4) 4ER k FT LAE LW 
& = Ev(L) 3.2.14) 
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它 的 最 小 距离 是 d 一 d( 多 ) 一 N 一 十 1， 至 多 可 以 纠正 | 5 一 | 个 错误 。 对 信 源 消息 w==wo… 


uri E F} 的 编码 需要 计算 多 项 式 f X) =u tu Xr -+u,X* FER 2 ES WK. 
定义 3. 2. 1( 其 中 多 是 多 项 式 (X= DP aX! CRLXIMRA, WE cw)=cle’) == 
cw!) =0)24 N=g—-1, k=N—d+1=q—S MMH, KB S=le, w, 志和 w MSR 
co，cl，”…，cN-i 利 用 下 面 的 式 子 与 多 项 式 FOX) BE GM KA 
G0 Ne 1 
这 唯一 确定 了 表达 式 f(X) = pag FX 中 的 参数 f,， 通 过 离散 的 Fourier MAR AT 4 


NF = cou"); i 或 者 Nf naa = cha), LS 0N 1 
特别 地 ， 确 保 了 Ti ie aN a 
给 定 FER LXIJM y= yn eC FLX], + 


dist(f,y) = 2, AC f(z). 4%) 





现在 假设 y= yy 是 一 不 杰 收 码 字 并 记 为 1| 41 ! | 上述 “传统 的 ”的 译 码 算法 (Ber- 


lekamp-Massey 算法 ， 连 续 分 式 算法 和 欧 几 里 得 算法 ) 都 遵循 相同 的 规则 : 算法 可 以 找到 
唯一 的 了 使 得 dist(f, DSt, 或 者 说 明 f 不 存在 。 男 一 方面 ， 给 定 ;这 t， 列 表 译 码 试图 
找到 所 有 满足 dist(f, WsW fs; 如 果 足 够 幸运 ， 具 有 这 个 性 质 的 码 字 是 唯一 的 ， 那 么 
我 们 可 以 纠正 * 个 错误 ， 这 超过 了 “传统 ”纠正 上 个 错误 的 极限 。 

这 个 想法 可 以 追溯 到 Shannon 有 界 距离 解码 ， 当 收 到 字 后， 检查 y 附近 的 Ham- 
ming 球 ， 直到 发 现 最 接近 y 的 码 字 ( 或 者 最 接近 的 码 字 集 合 ) 为 止 ， 当然 ， 我 们 得 确定 两 
种 条 件 ， 即 : (i) 当 取 比 zt 稍 微 大 的 s 时 ， 找 到 两 个 或 更 多 距离 在 ;内 的 码 字 可 能 性 很 小 ， 
Ci 算法 的 计算 复杂 度 合理 。 
例子 3. 2. 14 ”对 于 了 胁 ; 上 的 [32，8]RS 码 ，d=25， 二 12。 如 果 我 们 想 取 := 王 13， 则 接收 到 
的 字 y 的 Hamming 球 可 能 包含 两 个 码 字 。 不 过 ， 假 设 权 重 为 13 的 所 有 误差 向 量 e 近似 相 
等 ， 那 么 这 件 事情 发 生 的 概率 是 2. 08437X10 -2 。 

用 Guruswami-Sudan 列表 译 码 算法 ( 见 [59]) 在 一 个 多 项 式 时 间 内 寻找 相隔 距离 为 :的 
BMAF. tSs<tes. HP 

tos = n—1—-| VE | 
并 且 tos 比 t 大 得 多 。 

在 上 面 的 案例 中 ，zcs 二 17。 对 于 速率 为 R 的 RS 码 ， 传 统 的 解码 算法 将 纠正 (1 一 R)/2 
的 错误 ， 然而 GS Ra 1 一 YVR。 在 半径 为 ;tos 的 球 上 ,期望 码 字数 量 
可 以 被 评估 出 来 (假设 误差 向 量 均匀 分 布 ) 。 

Guruswami-Sudan 算法 不 仅仅 可 以 用 于 RS 码 。 在 最 初 的 GS 文章 中 ， 这 个 算法 对 于 
不 同类 型 码 字 也 有 很 好 的 效果 ; 之 后 ， 它 也 被 用 于 解决 RM 码 (参见 [7]) 。 


3.3 Bitte, BCH 解码 


我 们 重新 回顾 循环 码 和 BCH 码 。 像 以 前 一 样 ， 假 设 gcd (N, DM =1 AMR g=2, 
NN 是 奇数 )， 用 zo…zn-1 表 示 字 XE FO Nan 注意 对 于 所 有 Sr ernn CL, WRIA 
mM =Xy-1LoIn-2EC HL, MAREBL Hn, BRA BEAN. WERT SF co 
CN 一 1， 我 们 用 它们 表示 一 个 多 项 式 c(X) ERLX]: 
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cX) =e to X +e +en XN 
映射 coc X) EL AME, X AA Ze E ZV Ze Tel HY BY 
31 3.3.1 SARSAMRELXI/(X*—OP, PHKALRHAHELEB BAH, Wik 
Ry ALR st RM 
证 明 循环 位 移 对 应 X 乘 以 一 个 多 项 式 c(X)。 因 此 任何 多 项 式 相 乘 都 保留 和 。 Oo 
在 FLX]/(X* 一 e) 中 ， RNUAL EREK, FAS ER RA HB UI mod X* — 
e)， 这 种 方法 能 得 到 很 好 的 效果 。 此 外 ，F,[Xj/(X*" 一 e) 是 一 个 主 理想 环 : 它 的 每 一 个 理 
想 形 式 是 
(g(X)) = {fCX): fCX) = g(X)ACX) ACX) © BLLX]/(X" —e)} (3. 3.1) 
在 这 里 g(X) 是 固定 多 项 式 。 
定理 3.3.2 ”如 果 码 色 E. 和 YN, 是 周期 的 ， 那 么 ， 存 在 特殊 首 一 多 项 式 CMOOCL, CHF 
G) B=(g(X)). 
(ii 在 所 有 的 多 项 式 SNDE F, VAER., MH: 
(a) @ CX) CX" Se 
(b) 如 果 dege(X)=d, BA dim X=N-—d, 
C) K={f(X): F(X)=g(X)h(X)}, ACK EK [X], deg h(X)<N-d}, 
(d) 如 果 g(X)=gio tgi X tg: X +e tH gaX’, ga=e, MA g,. AO, MH 


D ed ey + ee ey a ee) 
re eee eet at peg Ol maesen 
0 0 Hy aero, gı "e ga 


对 . 儿 来 说 是 一 个 生成 矩阵 ， 第 守 行 是 第 ;1 一 1，i 王 2，…，N 一 @d 行 的 循环 移动 。 

相反 对 于 任意 二 个 多 项 起 gg (区 ) | (XM 一 e), 集合 《gCX)) 二 {fCX): FX 
g(X)h(X), h(X)ERLXI/(X"—e)} 在 FE[X1/(XN 一 e) 中 是 理想 的 ， 即 对 于 循环 码 绝 ， 
EREE DRL. 
证 明 在 多 中 取 有 最 小 度 的 非 零 多 项 式 ce OCKLX]. 取 p(X)EN， 

P(X) = q(X) g(X) + r(X) ,degr(X) < degg(X) 
BBA r(X) mod (XX —1) RM FH. RAE >(X)=0， 和 否则 这 将 和 g(X) 相 了 矛盾。 因此， 
g(X)|p(X) 可 以 证 明 (i) 是 成 立 的 。 选 取 p(X) =X*—-1 可 以 证 明了 (ii)。 最 后 ， 如 果 
g(X) 和 g(X) 同 时 满足 (i) 和 (ii),， 那么 e(X)| g OME (X) |e ORRE g(X)= 二 g(X)。 
回 
推论 3. 3.3 在 一 个 点 对 点 通信 中 ， 长 度 为 NN 的 循环 码 中 有 XN 一 e 这 个 元 素 。 换 和 白话 说 ， 
映射 
{KEAN 的 循环 码 }-> {XN 一 1 的 因子 } 
X> g(X) 

是 个 双向 单 射 。 

随 着 识别 鉴定 

EEX] A" —1)) = {f € BLX]:deg(f) <N) = FY 

的 出 现 ， 在 多 项 式 环 F,[X]/(X” 一 1) 中 ,循环 码 成 为 最 佳 状态 。 这 些 循环 码 在 包含 X1 
的 FE[Xj 中 有 着 点 对 点 通信 的 理想 状态 。 因 为 包 [Xj 是 Euclid JLA AR, £F [CX] F H 
有 理念 都 很 重要 ， 形 式 为 {f(X)g(X): f(X)EKLX])。 事实 上 ,在 [Xj/(X* 一 1) 上 的 
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所 有 理念 都 是 重要 的 理念 。 

定义 3.3.4 多 项 式 g(X) 被 称 为 循环 码 和 的 最 小 度 生 成 多 项 式 ( 简 单 来 说 就 是 生成 器 )。 
FEA N—degg(X) th 14h A(X) =(X"—e)/g(X) MAR AMRBL=(2g(X) ) 的 校 验 多 项 式 。 
例子 3.3.5 XX 一 e 生成 奇偶 校 验 码 {x; Dz, 一 0} 以 及 e 十 X 十 … 十 XN AERA ana, 
a€F,}, X=e ERL =H. 

举例 3.3.6 (a) 如 果 Co *** CN-1 CRA Cy=1 6 CB, 那么 长 度 为 N 的 循环 码 .4 一 
(g(X) ) 被 称 为 是 可 逆 的 。 证 明 当 且 仅 当 gla) =0 意味 着 gla =O, RATE, 

(b) 对 于 一 些 r/N， 如 果 每 个 码 字 ecE .和 是 长 度 为 和 的 字符 串 cc …c' 中 N/r 个 字符 的 
串联 。 证 明 当 且 仅 当 它 的 校 验 多 项 式 是 h( 义 ) |(X" 一 1) 时 ， 和 是 退化 的 。( 提 示 : 证 明生 
成 多 项 式 g(X) =a X) AEX HX” fee + XN) ,) 
解答 (a) 如 果 码 必 二 (g(X)) 是 可 道 的 ,，g 二 go…gn-i0…0， 那 么 XX" g(X')~0 
Ogn-e* Zoe BH, BD XX 'g(X')=g(X)q(X). 因此， 如 果 g(a) 二 0， 那 公 a gla')= 
0， 即 g(a ')=0. : 

FAR, g(a) =0 BRE gla!) =0, MB c(XVIE BR, g(X)|c(X). MWA, A 
cCX 1) 中 存在 gCX) 所 有 的 零点 根 ， 所 以 ，X CCX) RF YH. 但 是 XN CCX) H~ 
Cn-1°°*Cos PUA Fe wy AY 

(b) 条 件 g=a' sa RUB 5(X) 一 <a(X)(e 十 Xr 十 X2> 十 … 十 XN)。 另 一 方面 ， 

X“ —e = (X"—e) (X87 +- +X +e) = ACX) g(X) 
因此 ， 如 果 必 = 二 (g(X)) 是 退化 的 ， BA X"—e=A(X)al(X), Bl X’—e=A(X) | (X"—e). 
相反 ， 如 果 h(X)|(X’ 一 e)， 那么 XY 一 e 二 a(X)h(X)， 
XN — e= (X —e) (X + +X +e) 
= h(X)a(X) (X + +X +e) 
并 且 
g(X) = a(X)(XN7 4 + X +) 
Bl g=a's-a', 此 外 ， 当 deg g(X)<N—deg g(X) I, ÉRH c(X) =q( X) g (XO MER 
PANEL, DIRKA 
c(X) = q(X)g(X) = al X)q(X)(X*" + + + X +e) 

从 中 我 们 可 以 总 结 得 出 ，deg aCX)aCX) 一 -~( 在 乘 以 XX "后 ， 它 的 度 不 会 超过 N 一 1) 。 
FHM c'~alX)g (X) it, c=c ec E c …c' 的 串联 。 m 
举例 3.3.7 [7, 4]Hamming 码 是 校 验 多 项 式 为 和 :十 X2 十 和 十 1 的 循环 码 。 它 的 生成 多 
项 式 是 什么 ? Hamming 原始 码 包含 等 价 于 它 的 偶 子 码 吗 ? 
解答 EFP, RNA 

X' 一 1 = (X?4+X%41)(X14+ X74 X41) 
生成 多 项 式 为 X* 十 X 十 1 的 循环 码 的 校 验 多 项 式 是 X' 十 X: 十 X 十 1。 该 码 的 奇偶 校 验 和 矩 
阵 是 








Go on ET 证 

这 个 矩阵 的 所 有 列 都 是 属于 严 ; 的 非 零 元 素 。 所 以 ， 它 和 [7，4]Hamming 码 等 价 。 
[7，4]Hamming 码 的 对 偶 生 成 多 项 式 是 系 十 及 十 X 二 1 的 道 )。 因 为 系 十 对 十 X 十 

1 二 (X 十 1)g(X)， 所 以 它 是 [7，4]Hamming 码 的 子 码 。 oO 
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举例 3. 3.8 定义 四 有 是 本 原 第 N 个 单位 根 。 儿 一 (g(CX) 是 长 度 为 N 的 循环 码 。 证 明 维 度 
dim ZQ)  F #48 Ho! 108, L g(Cw ) 天 0。 
解答 FEL B={w, ws s, w}, dim(g(X))=>N—d, d=degg(X), 但 是 g(X)= rT x= 
1<j<d 

wi), a, +, ww 是 (g(X)) 的 零点 。 因 此 w 的 剩余 N 一 d 个 单位 根 满足 条 件 e@')A0, O 

我 们 需要 非常 注意 的 是 ， 循 环 码 居 二 (g(X)) 的 生成 多 项 式 是 不 唯一 的 。 特 别 是 ， 这 
里 存在 一 种 特殊 的 多 项 式 I EB, Wi CX) = KOU RL =i X)) ESTAR). 
定理 3.3.9 wR, S= lg: (KPK: =(g.( XY) RAERBA gl(X) 和 gs (X) IR, 
那么 

(a) dt o.(X) |e (Xe, 2 C#.. 

(b) Bi NB. =(lem(g2(X), gi (X))). 

(co) 和 | Z= (gedlg (Xa gi(X))). 
定理 3.3.10 SACKOARHRKESZSAX, MPA 

(a) R={f(X): fOOhCX)0mod(X%—e)}, 

(b) wR ACX) Hho thy Xt e +hy_ XX", PMALRHF BHR HZ 





hy, hyo par hı ho 0 0 oe. 0 
23 0 hy see see hi ho 0 eee 0 
0 0 eee lincs H nea aes eee eee ho 


(c) 对 偶 码 8 是 dim Kt =r HMR, K 二 (gl (X)), 其 中 gt (XK) =h Xh 
CX!) Shp (hyp XO hy NNO aye, ) 

对 于 X 一 e 的 因 式 分 解 而 言 ， 循 环 码 的 生成 器 g(Zz) 被 指定 为 最 小 多 项 式 M,(X)H— 
FR : 

X“ —e = Iem(M,(X) Ee BM (3. 3. 2) 

一 个 简单 的 方法 就 是 用 g(X) 的 根来 描述 循环 码 。 如 果 w EM, (XO ED RRF, Cw) 的 根 ， 
那么 M,(X) 就 是 在 Lo 的 最 小 多 项 式 。 对 于 任何 一 个 多 项 式 POONER (Ww), SAMY 
f(X) 二 a(X)M,(X) 时 有 flo) =0. WH, WR F(X)E[X1/AX” 一 e)， 那 么 当 且 仅 当 
f(X)==《M,(X)) 时 f(w)= 二 0。 因 此 我 们 能 够 得 到 下 述 定理 。 


定理 3.3.11 令 g(X) 二 qi(X)…g,(X) 是 XN 一 e 的 不 可 约 因 子 的 乘积 ，wi，…，w, 是 在 F， 
上 Spl(x* 一 e) 的 g(X) PWR. BA 
(eX) = {CNT © ELX Heh fe) = § = fG,) SO ~ (3.3.3) 


而 且 ， 从 每 个 不 可 约 元 素 中 选取 一 个 根 是 完全 可 以 的 : 如果 w; 是 M。(X) 的 任意 一 个 

Rm, HPISj<t, MA 
(g(X)) = (FA) E RIX —e): flo) = = flo) =0} 3.3.4 

相反 ， 如 果 wi，…，wu 是 XN 一 e ROR, MALFER e): fla) == 
(ws) 二 0) 会 有 一 个 wi ，…，ws 的 最 小 多 项 式 的 lcm ERB. 
定义 3.3.12 生成 器 g(X) 的 根 被 称 为 循环 码 (g(X)) 的 零点 。 其 他 单位 根 通常 被 称 为 码 的 
非 零 点 。 

Hlos s o REV ERF, 上 X* 一 e 的 根 集 。 从 之 前 可 知 ，/ 是 最 小 整数 ， 从 而 
Nlg' 一 1。 如 果 SOSE SX ERX] X e EWER, WAMAN X fiw; =0 


O<Si<u 
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时 f(w) 一 0。Fy 表示 维度 为 1 的 F, 上 的 向 量 空 间 ， 我 们 将 w MEF, 上 长 度 为 ! 的 ( 列 ) 向 
fo; 结合 起 来 ， 最 后 的 等 式 为 > foi = 》)fiw; 二 0。 所 以 这 个 (ul) XN 矩阵 


~~ 


=Ni 


RL 1 h 
CI Wi wi 
~p Jo? wr = wr” 
H = (33. 5) 
: : =s : 
0). orl SS aes 
Wy Wy Wy 


可 以 被 认为 是 零点 为 m ，…， 邮 的 码 的 校 验 矩 阵 ( 附 带 条 件 : 它 的 行 可 能 不 是 线性 独立 的 ) 。 
EH 3.3.13 ”对 于 q=2, [2'—-1, 2’—-1—-1, 3] Hamming B45 HH (M,(X)) = 


II (X— w) 是 等 价 的 ， 其 中 ，w 是 Fu 上 的 本 原 元 素 。 


证 明 设 由 是 初始 CN， 了 权 ) 单 位 根 。 分 裂 域 Spl(XY 一 e) 是 到 (因为 ordx (2) 二 1)。 所 以 
BF, HAKER., MEH LMM, CX) =(X—w) (X—-02)(X—w ) HBR w' =e, 
ws so. HR Fi ， 非 零 元 素 的 列表 和 1XN 和 矩阵 的 列 

| (6° tases) (3. 3. 6) 
包含 长 度 为 1 的 所 有 非 零 二 进 制 向 量 。 因 此 [2 一 1]，2' 一 一 1]，3]Hamming 码 等 价 于 循环 
码 (M.CX))， 其 中 它 的 零点 包含 一 个 四 的 (2 一 1; E) 本 原单 位 根 以 及 最 小 多 项 式 的 所 有 
其 他 根 。 口 
定理 3. 3. 14 如果 ged(l, q—1)=1, MA git (St, toh 3) Hamming 码 等 价 
于 循环 码 。 


证 明 记 Spl(X" 一 e) 一 By， 这 里 1 二 ordv(g)，N 一 和 二。 为 了 证 明 ! 的 取 值 ， 我 们 看 到 





OE gE i-1 
二 -一 4 一 1 时 ,1 是 最 小 正 整数 并 且 和 二 >q, 


因此 ，Spl(X*N 一 e) 二 Fy 。 选 择 初始 值 BE Fi 。 那 么 wo=8% =p" ERAN, F) 
单位 根 。 就 像 之 前 一 样 ， 选 择 最 小 多 项 式 M,(X)=(X—w) (X—w") X — o |). 使 用 零 
点 为 w 的 循环 码 (M.,(X)) (特别 是 wr，…，w* )。 再 次 考虑 1XN 和 矩阵 (3.3.6)。 我 们 想 
验证 一 下 H 的 任意 两 个 不 同 的 列 是 线性 独立 的 。 如 果 不 是 ， 则 存在 i 二 ;，w' Mo’ 都 是 元 
Zo’ ‘CK, Meee. (HE. PF, P, WT So OP 二 e。 因 为 w 是 本 原 第 NN 个 
单位 根 ， 当 且 仅 当 (j 一 让 (gq 一 1) 夺 0 mod N 时 它 是 成 立 的 。 

N= =1+ + 

因为 对 于 所 有 7Y 宇 1，(g 一 1)|1(g 一 1),， RMA g =Q lut, ,为 自然 数 。 在 0 二 

r 寺 s 一 J 上， 假设 它 服 从 


N= (q—1) v, +1 (3,3. 7) 
因为 gcd(q—1, D=1, A ged(q—1, N)=1. BÆ, SHG—i1)(q—1)=0modN 是 不 可 
能 成 立 的 。 口 


所 以 AP Re MA WKN. RRSN—L, 距离 d>3. (As Hamming 界 
表明 
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dg | kt > a=] E=] 


0<m<E |M 2 
ADR vy, (ESq. XRRGHRER=N—-1, E=1, d=3, MU, KASH 
于 Hamming 码 。 
接 下 来 ， 我 们 可 以 看 到 BCH 码 校正 多 个 错误 的 更 多 细节 。 回 顾 一 下 ， 如 果 ww ，…， 
w. € Ew.) ÆN, FORRAR, BA 








Ky = (FCO) © RUX] X" —e): flan) = ++ = flon) = 0} 
是 循环 码 (g(X)，， 其 中 
g(X) = Iem(M,, vr CX) s+) Ma py CX) CX)? (3. 3. 8) 


BEF, 上 ，uw，…， 对 应 的 不 同 最 小 多 项 式 乘积 。 特 别 地 ， 如 果 q=2, N=2'-1, w 
是 在 Fz 上 的 本 原 元 素 ， 那 么 根 为 a。，w…，w* “的 循环 码 ( 和 只 有 单个 根 o 是 一 样 的 ) 与 
(M,(X)) 是 一 致 的 ， 并 且 它 等 价 于 Hamming 码 。 我 们 可 以 试 着 用 多 零点 的 其 他 可 能 性 来 
看 它 是 否 能 产生 一 个 有 趣 的 案例 。 这 是 发 现 BCH BAIT. 
回顾 最 小 多 项 式 M CX) (= My (X)) 的 因 式 分 解 
XN —1 = Iem(M;(X) i = 0%,2) (3. 3. 9) 


其 中 ，w EANN, FARR, MCX) ARB, MERA w, w, =s wl 这 
HER, d(=d@) BAKES F 1 的 最 小 整数 ， 因 此 ig =imodN, RE G= li, iq, =, 
ig"} 是 第 i 个 gmodNN 分 圆 陪 集 。 所 以 ， 

M,(X) = || (X—o’) (3. 3.10) 


GEC, 
在 3. 2 节 中 ， 我 们 要 求生 成 器 g(X) 有 (6 一 1) 个 连续 根 ( 连 续 指 数 )， 得 到 最 小 距离 大 
于 等 于 6 的 循环 码 。 和 下 面 的 定理 3. 3. 16 比较 。 
例子 3.3.15 二 进 制 Hamming 码 是 设计 距离 为 6==3 的 二 进 制 本 原 狭义 BCH 码 。 
通过 引 理 3. 2. 8， 得 到 距离 d Bins) = AH Spl(X*—e)F;, HP s=ord l), A 
degM,'+i (X) S s (3. 3. 11) 
Aik, (Rane) =N—deg(g(X))>N—(O—-l)s. MUA FE. 
定理 3. 3. 16 gq 进 制 BCH 码 的 距离 VyNs 宇 8， 秩 deg(g(X)) 宇 N 一 (5 一 1)ordn (q). 


像 以 前 一 样 ， 我 们 将 w, o, ey oO AE BE BO ， 将 它们 的 寡 指 数 
组 成 来 自 严 :的 向 量 ， 其 中 s=ordy(q), RE 
e e e 
ae ae wth T git? 
f=.) E w (3. 3.12) 
woe wey ar rete 
won aj MVD ass aN Utt- 


BY VA 388 at RIC AR TOK RAS E AF Be ME 
二 进 制 BCH 码 是 最 容易 处 理 的 。 定 义 C={i, 2i, +, 2 1} 为 第 i 个 分 圆 陪 集 
(d( 二 d(?))),， 它 是 最 小 非 零 整数 ， 因 此 i*，2<==i mod N， 并 且 当 上 且 仅 当 2u mod NEC,, 
uC 成立。 所 以 ，M;(X)= 二 Ms;(X)， 对 于 所 有 的 ; 宇 1， 多 项 式 为 
gaa KX) = go,(X) = lem{M, (X),My CX) 5+ 5Mp, CX) } 
RILA MEW E KN = KN 。 所 以 ， 通 过 观察 距离 8 二 2E 十 1 为 奇数 的 狭义 BCH 
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码 ， 我 们 可 以 使 定理 3. 3. 16 得 到 改善 。 
定理 3.3.17 JEB AZ? Noen th] BCH 码 的 秩 宇 N 一 E ordn (2) 。 
准确 求 出 BCH 码 的 最 小 距离 的 问题 仅仅 只 有 部 分 得 到 解决 (尽管 在 文献 中 存在 许多 结 
论 )。 我 们 在 没有 证 明 的 情况 下 提出 以 下 定理 。 
定理 3.3. 18 二 进 制 本 原 狭义 BCH 码 的 最 小 距离 是 奇数 。 
在 一 些 特殊 的 例子 中 ， 之 前 得 出 的 结果 可 能 会 变 得 更 好 。 
举例 3.3.19 i Alog,(N+1)>1+log,(E+1)! 意味 着 


N 
人 国 (3.3.13) 
1 


0 委 运 了 +1 


解答 ”对 于 iE 二 1, 我们 可 以 知道 记 <E+1<(N+1)/2. Ak, KG. 3. 13) 会 随 着 
NADAS? 5) NN- DN iF) = SE) (3. 3. 14) 


0<i<E+1 


发 生 。 对 于 E=0， 不 等 式 (3. 3. 14) 成 立 ， 并 且 这 个 等 式 通过 归纳 法 可 以 得 到 验证 。 将 式 
(3. 3.14) 的 RHS 记 成 S(E 十 1) 二 SCE) 十 N(N 一 1)…(N 一 E)。 接 下 来 通过 归纳 法 假设 $ 
(E)>(N+1)**', “并 证 明 
NI(N 二 TD 一 2NOIN 一 1)…(N 一 BE)CON 一 下 一 1)， 
Ww N+ 1> 2(E+ 2)1 (3. 3. 15) 
WA Ws yt1)**!—2(y—1) + (y— E) (y—-E-1), FEKE A E+. 和 五 的 单项 式 组 合 
起 来 。 很 明显 ， 它 们 否定 了 y>2(E 十 2)!。 继 续 这 个 步骤 ， 总 结 可 得 式 (3. 3. 13) 成 立 。 


N 
定理 3.3.20 设 N=2 一 1。 wR2 二 》) | 


0<i< FH} 


| ， 那 么 本 原 二 进 制 狭义 BCH ® 


1 
六 ?20_1zEH1 距 离 为 2E 十 1。 

证 明 通过 定理 3.3.18， 我 们 可 以 知道 距离 是 奇数 。 所 以 ， d( Rt? 1.2841) F2E+2, 假 
设 距 离 宇 2E 十 3。 我 们 可 以 看 到 多 ?28-1sE+1 宇 N 一 EE，Hamming 边界 


N N 
2 [|e a" = id 四 
0<i<E+1 | 1 O<f<E+1 | 2 
它们 产生 的 矛盾 意味 着 W221,zE+1 二 2E 十 1。 oO 
推论 3.3.21 如 果 N=2'—-1, s>1t+log,(E+1)), MA dC Qe 12611) =2E+1, Hl 


we, Bik N=31，* 一 5， 我 们 能 轻易 验证 得 到 ， 当 E=A1, 2443H, 


31 
25E < | j | 
0<i< EH | 2 


该 式 可 以 证 明 .Yi2al.z 的 真实 距离 等 于 8， 其 中 O=3, 5, 7. 
N 

ER, s>1+log,(E+1)! 意味 着 25 之 >) W : oO 
1 


Osi E+1 
定理 3.3.22 如 果 5|N， 设计 距离 为 6 的 本 原 二 进 制 狭义 BCH 码 的 最 小 距离 等 于 6。 
证 明 设 N=6m， 那 么 
XN—1= X™— 1 = (X"+ X” + e + XO) 

RHAH j=l, =, 6-1, wo ALM, w ws.) w  PRA—TE X"-1 的 根 。 所 以 ,它们 
必定 是 LHX" oe EXO PAAR, XP BMA EPA OMS. ATU, OER. 

更 多 关于 BCH 码 的 最 小 距离 的 结论 在 定理 3. 3.23 和 3. 3. 25 中 被 提 到 。 完 整 的 证 明 
超出 了 这 本 书 的 范围 ， 因 此 不 再 详 述 。 
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定理 3.3.23 令 N=g' 一 1]。 设 计 距 离 为 4 一 1 的 本 原 g 进 制 狭 义 BCH BQ io 
最 小 距离 是 gq 一 1。 

定理 3. 3. 24 设计 距离 为 6 的 本 原 g 进 制 狭义 BCH BQ HBr si 的 最 小 距离 最 大 
是 g6 一 1。 

证 明 选取 为 大 于 等 于 1 HERS, HH g KK GS = 二 qt 一 1， 另外 考虑 到 
= ound ERABHMAWKE N=¢—1, 设计 距离 为 6 的 本 原 q 进 制 狭义 
BCH 码 。 必 的 生成 器 的 根 都 在 这 些 Y' 中， 所 以 儿 ' 三 多。 但 是 根据 定理 3.3. 22 得 知 ， 
d(#')=6', HPENFS F 6q 一 1。 oO 

接 下 来 的 结果 表明 ，BCH 码 并 不 能 “很 好 地 渐 近 ”。 然 而 ， 对 于 小 NOL RAH 
W), BCH 是 已 知 最 好 的 编码 之 一 。 
定理 3.3.25 长 度 为 N 的 g 进 制 本 原 BCH AXK 不 存在 无 穷 序列 ， 因 此 d(Xy)/N 和 
#h( By) /N 的 下 界 都 大 于 0。 

BCH 码 能 够 通过 使 用 所 谓 的 Berlekamp-Massey 算法 解码 。 首 先 ， 考 虑 一 个 长 度 为 
N=2'—-1, BR 5 MARR BCH BQ" (= 20). 4 E=2WR s>4 
时 ， 不 等 式 SPRAT 根据 定理 3. 3. 20 TA, BRA dE 5, Ak, 
BCH 码 能 纠正 两 种 错误 。 而 且 ， 根 据 定理 3. 317A, LUREN 2s. [F s=4， 
秩 等 于 N—2s=15—8=7. HU, Br" 是 [2 一 1， 人 2 一 1 一 2s，5] 。 

定义 零点 为 w， ws ow, wo, EP o BEF, 上 的 本 原 第 N 个 单位 根 ( 这 也 是 了 及: 上 的 一 
个 原始 元 素 w) 。 我 们 知道 o 和 ws 足以 定义 为 零点 ; 儿 呈 二 {c(X)E 杷 [X]/CXN :co)= 
c(Cos) 王 0}。 所 以 ， 在 (3. 3. 12) 中 的 校 验 矩 阵 互 能 从 下 式 中 获得 


+ + =, = 
~T ge w yo w 
i: ah E Part do < 
3 6 3(N-1) 
é le w Sa KO 


比较 二 进 制 [2 一 1，2: 一 1 一 门 Hamming 码 .2 的 情况 是 很 有 意义 的 。 在 2 码 的 方 
案 中 ， 假 设 码 c(X)E 和 被 发 送出 去 ， 接 收 的 字 ~(X) 出 现 的 错误 会 少 于 2 个 。 若 ~(X) = 
c(X) 十 e(X)， 误 差 多 项 式 e(X) 的 权重 三 2。 这 里 我 们 可 能 会 考虑 三 种 可 能 ; e(X)=0, 
e(X)=X'M# eX =X +X, 0SIFJRN—-1, ME rWw=n, rw) =r, BA ew) = 
rı Vi Bee(w® =r. FEAR (eX) =ONTEE, ry 反之 亦 然 。 在 只 有 一 个 误 
BMH Ple(X)=X'), 

rm = eer) =o8i= = Clan” =r 0 
AAR. Wer, =ri 0, 那么 elw) Se (w)”， 如 果 e(X)=X'+X’, ij, MA 

ote = (wi te) =e tev’ tw'w” +0” 
BD, ww tww =0 或 者 wi' 十 wi = 二 0， 这 意味 着 i 二 j， 同 时 这 就 与 之 前 的 假设 相 矛 盾 了 。 
所 以 ， 当 且 仅 当 7 二 7 了 关 0 时 ， 只 出 现 一 个 误差 的 情况 发 生 ， 错 误 的 数字 是 i， 因 此 n= 
wo, MU, 在 只 有 一 个 误差 的 方案 上 ， 我 们 确定 互 的 一 列 ， 即 一 对 (@i,，w”) 二 (ni, rs)， 
改变 在 r(X) 中 i 位 置 的 数字 。 这 和 Hamming 码 的 解码 步骤 完全 相似 。 

在 出 现 两 个 误差 的 方案 中 (其 中 e(X)== 下 十 了 六 ,i 关 站， 本 着 Hamming 码 的 思想 ， 我们 试 
着 寻找 一 对 列 (wi ，a8) 和 (wi s HEM tw, ote I=, rm), eee 

n= talon = w +o” 


接着 寻找 i 和 j， 因 此 n=0's y5w y y: 被 称 为 错误 定位 器 )。 如 果 这 样 的 ; 和 7 (或 者 


(C87 3.16) 





编码 理论 的 深层 主题 205 





错误 定位 器 y 与 y;) 被 找到 ， 我们 就 可 以 知道 在 位 置 i 和 j 上 发 生 误 差 了 。 
引入 根 为 yr '，yz' 的 错误 发 生 器 s(X) 会 很 简便 : 
oX)= (1 — nX) — yX) HS 1 (yy RF 
= .i Tr B-B E 

因为 y tyr, RMR WEH yiy= rri ri BLE, 

r = yi Hy = Cn Hy) Ot + yy Hy) = r Cri yy) 
如 果 N 不 大 ，c(X) 的 根 可 能 通过 试验 本 的 2 一 1 个 所 有 非 零 元 素 而 被 找到 。( 二 次 多 项 式 
根 的 标准 公式 不 能 应 用 在 FE, 上 )。 因 此 ， 提 出 了 接 下 来 的 定理 : 
EA 3.3.26 令 N==2' 一 1]， 考 虑 一 个 长 度 为 N， 设计 距离 为 5 的 两 误差 校正 二 进 制 本 原 
狭义 BCH AKAPA )， 它 的 校 验 矩阵 由 下 式 产 生 


e 2 eee N-1 
~r w w w 


人 Cw eh, ees LNT? 
其 中 ，w 是 :的 基本 元 素 。( 码 的 秩 宇 N 一 21， 对 于 lS4, BRST5, PZR, > 
2 一 1 一 20，5]， 它 校正 两 个 错误 。) 假 设 在 接收 到 字 r(X) 时 ， 最 多 发 生 两 个 错误 ， 令 
rlw) =ris rlw)=r,. ABA: 

(a) #W@Rr,=0, PMAr,=0, RARR, 

(b) 如 果 n=, MAH ri =e 的 位 置 i 处 ， 有 单一 误差 发 生 。 

O 如 果 了 关 0，rs 关 站， 那么 两 个 误差 发 生 : 误差 定位 多 项 式 o(X) 二 1 一 riX 十 
(ari Sri X 有 两 个 不 同 的 根 wN |, ow :i， 在 位 置 i 和 j 上 发 生 误 差 。 

对 于 有 着 通用 设计 距离 为 6(6= 二 2t 十 1 是 奇数 ) 的 二 进 制 BCH 码 ， 我 们 顺 着 相同 的 思 
路 : 对 于 接收 到 的 r(X)=c(X)+e(X), HE 


jie e(w) sra => elw ) strae = elay 
假设 在 位 置 i ，…, i RARE. MBA 
e(X) = >) Xi 


l<j<r 


就 像 以 前 一 样 ， 考 虑 到 系统 中 
Swi = fis Swit = rapt, ee =r,» 


1<j<t 1<jct 1<j<t 


使 用 误差 定位 器 yj 二 wr : 
My, 一 7， Dy E yt = roz 


l<j<t 1<j<t l<ji<t 


误差 定位 多 项 式 
MX) = J] ayx) 


1<j<t 


的 根 是 y oX = 2》) oiX' 中 的 系数 o, 能 从 下 面 的 等 式 中 得 到 


0 和 js 

1 0 Diya Dice ma iO ol r 

ry ri 1 0 0 ad 0 02 T3 

rı fq Gre AOL Qe rs 
Tor-s Yar-5 res | | 2-3 T2-3 
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这 要 求 在 计算 时 ,ri 为 奇数 ， 这 是 因为 
ro = ew?) =e WY = r 
一 旦 o; BORK. Ry; : 能 通过 实验 和 误差 求 出 。 
例子 3.3.27 ZBK es w 是 Fi; 的 基本 元 素 。 我 们 都 知道 ， 初 始 多 项 式 是 Mi (X) = 
ZX 十 外 十 1 以 及 M,(XY)=X'+X°4+X*4+X41, AK, 码 的 生成 式 为 
g(X) = M,(X)M,(X) = XX 二 XX 二 十 1 

我 们 在 第 4 个 和 第 12 个 位 置 ， 通 过 采取 aX) =X 4+ X84 X74 X41 的 方式 ， 在 码 c= 
10001011100000000 上 产生 两 个 错误 。 那 么 

r = alw) = w? Fa tow Hw lS w, 

r = alw) = w Ho +o" +08 +1 Ew +e Fl SMI 
既然 rAri, SRAM UES HK 

of X) =1+0°X+ lw How) 

那么 我 们 可 以 直接 得 出 1(X) 的 根 是 w Alo. All. 我们 可 以 发 现在 第 4 个 和 第 12 个 位 
置 的 误差 。 


3.4 MacWilliams 标识 和 线性 规划 界 


线性 码 的 MacWilliams 标识 可 以 处 理 所 谓 的 加 权 计 算 多 项 式 Wy Cz) A Wo Cz), R 
里 多 和 多 是 给 定 长 度 为 N 的 一 对 对 偶 码 。 多 项 式 Wj.(z) 和 Wp (zx) 被 定义 为 
Walz)= >) Art 和 Wai(z) = J Atz (3. 4.1) 


EH, Ap =A (DP) SEL PREH k WFR. ALC=AL(2)) 是 在 居中 的 码 
FRE. q 进 制 码 的 特性 为 


— f = N L—=z 
Wet 2) = gel +@-Dez] Welt oqope)* Ec (3; 4. 2) 
在 二 进 制 方案 (g= 二 2) 中 ， 得 到 一 个 特殊 简洁 的 公式 : 
~<a aw (lz 
Wai (2) = ge tz) We (i=) (3. 4.3) 


抽象 MacWilliams 标识 的 简短 推导 是 代数 形式 的 。 因 为 只 有 线性 码 的 详细 说 明 会 在 之 
后 用 到 ， 所 以 在 它 第 一 次 出 现时 ， 推 导 可 能 会 被 跳 过 。 
定义 3.4.1 SG, 十 ) 组 合 起 来 ， 复 杂 数 字 SH={(zEL: |z|=1) 的 乘法 组 中 的 同 态 y: 
G 被 称 为 G 的 (一 维 ) 特 性 。 由 于 x 是 同 态 
yete) = x(gi)x(g2), x(0)=1 (3. 4. 4) 
如 果 yO ) 三 1， 我 们 认为 x 是 平凡 的 (或 者 是 主要 的 ) 。 
一 般 来 说 ， 域 F( 不 一 定 是 有 限 的 ) 上 群 G 的 一 个 线性 表示 D 被 定义 为 ， 从 G BMP 
上 的 有 限 维 空间 V 的 可 道 线性 映射 群 组 GL(V) 的 同 态 。 
D:G—>GL(V):g > D(g) (3. 4. 5) 
向 量 空间 V 被 称 为 表示 空间 ， 它 的 维度 dim(V) 被 称 为 表示 维度 。 
用 了 表示 群 组 G， 那 么 映射 
2 :G—> Fg— Ddi(g) = trace(D(g)) (3. 4. 6) 
ERZ (Ce) MM gE€G，D(g) 二 (di(g)) 的 迹 ， 被 称 为 DD 的 特征 。 复 杂 数 值 在 域 C 上 的 
表示 和 特征 被 称 为 普通 的 。 基 于 域 上 时 它 是 有 限 的 ， 它 们 被 称 为 模拟 的 。 


nn p Na 
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在 我 们 的 方案 G=F, 中 ， 使 用 加 法 群 运算 。 固 定 本 原 第 q 个 单位 根 w 王 eeES ， 对 

于 任意 一 个 jEFK， 定 义 群 组 F, 的 一 个 一 维 表示 如 下 : 
xy? :F, > Su w" 

HFA, HA xX BIER ALAN. FXE, F, 的 所 有 字符 都 能 用 这 种 方式 得 到 ， 但 是 我 们 
省 略 了 这 种 定理 的 证 明 。 

接 下 来 ,我 们 定义 了 群 G =F) 的 一 个 特征 。 固 定 一 个 非 平凡 一 维普 通 字 符 Xx: 了 一 
S' 以 及 非 零 元 素 v= 二 F”， 定 义 加 法 群 CG =F) 的 一 个 特征 如 下 : 

Xw :Fe >S:u—> Xx(v.u) E37 

其 中 vw，u， 就 像 之 前 提 到 的 一 样 ， 是 点 乘 的 意思 。 
引 理 3.4.2 Ay RARBG 的 一 个 非 平 凡 字 符 ( 即 Al). MA 


Sy) =0 (3. 4. 8) 


gEG 
如 果 X 是 平凡 的 ， 那 么 4 PrO = #6. 
证 明 因为 是非 平凡 的 ， FETE—T ICR hEG fi y(h)=1. A 
A) > XY(8) = Sythe) = Dye 
gEG gEG gEG 


中 ， 我 们 能 够 得 到 ( x(h) -Aa =0. Ait, Drea =0. 口 
gEG gEG 
在 方案 G=F* H, J ya) = qg 是 可 忽略 不 计 的 。 
xEFN 
定义 3.4.3 EF) 上， 函数 了 的 离散 Fourier 变换 (简化 为 DFT) 被 定义 为 
f= SFM) (3. 4. 9) 
ve RN 
有 时 候 ， 码 多 的 权重 计算 多 项 式 被 定义 为 两 个 正式 变量 r, y 的 函数 : 
WeG.y) = resem (3. 4. 10) 


ve 
(如 果 设 定 z=z，y 二 1]， 那 么 (3.4.10) 和 (3.4.1) 同 时 发 生 )。 所 以 ,我 们 将 DFT 应 用 在 
函数 上 (这 时 认为 zx，yES' 也 是 对 的 ) 


g:FX > Glrsy]: v > r” yor ta 
引 理 3. 4. 4 (抽象 MacWilliams 标识 ) 对 于 vERY, + 
g:FX >@Laz,y]i0 > r” yN» (3. 4. 12) 
那么 
(yy (3. 4. 13) 


ER 令 多 代表 加 法 群 G=F 的 一 个 非 平凡 字符 。 假 设 a€EF,， 如果 a 二 0， 设 |a| 二 0， 否 
则 设 |a| 二 1。 随 后 对 于 所 有 的 VER, + 
D= Dx((v,u)) gv) 


ve RN 


z= PAA O E yo 
very 
me! 


= es x( Som )z Ie Flea) yiii Dto D 
=0 


=! 


= wide +) TH (om)! yi 


vy EF, Uy EF i=0 


314 


315 


I 


至 Ty, y (gui da'#! yb ls! 


gEG 


Salt ye =yt+(q—lez 


gEG 


如 果 u;~0, 那么 
Dx (gui Ja!!! yl = y+ S yeuz = 方 一 XC0) 工 二 了 一 工 
gEG gEG\ O0 
o 
引 理 3.4.5 (线性 码 的 MacWilliams HR )wWROAE, 上 的 线性 LN, k], MZ 
> fa) ST -¥ Gy) (3.4.14) 


xk ye gt 


证 明 考虑 下 面 的 求 和 过 程 
DISE Dl ye Cx) FOv) 





EL xe DX ve RN 
= 3) yu. x) flo) 
ve RNTEL 
= >) ye. xd fw) 
ve Ql ek 
+ >) Re fo) 
ren) gre 


在 第 一 次 求 和 中 ， 对 于 所 有 VER’ MxE 2, RNA Cv, x)=x0)=1), EWK 
求 和 中 ， 我 们 知道 线性 形式 

VW = Fah» (vy 
AA ver \ 2 ， 所 以 这 个 线性 形式 是 满 射 的 ， 因 此 ， 它 的 核 维度 为 & 一 1， 即 ， 对 于 任 
何 一 个 geF,, feted :个 向 量 xE 父 使 (mw，x) 王 g。 这 意味 着 


Po Sf Co) 


xE 2 ye Rt ver” \ gt REG 
=q >) fy 
ye Qt 
和 引 理 3.4.2 中 的 第 二 个 式 子 被 忽略 后 一 样 。 国 
引 理 3. 4.6 在 上 的 [LN，8] 码 .& 权重 计算 与 它 的 对 偶 权 重 计算 有 关 ， 表 示 如 下 : 
We (zy) =q'*Waly—z,y+ (q—1)z) (3. 4. 15) 


证 明 根据 引 理 3; 4. Ds A gv) Ha yh w 
Weilay= 2) av) =a" 2) R) 


ve get ve 
= q'Wely—az.y9+ (oq lx) 
将 变量 替换 成 +z 二 z，y 二 1， 我 们 可 以 得 到 式 (3. 4.3), Oo 


WF3.4.7 DATHA GAK, We(0)=A=1, We (lL =#%. X=, 
We (z)=[1+2(q—-1)]", 
Gi) sF—AHH HE ABWM={0000, 1111}, Welz, =r Hy. BA, 


We(z,y) = (Cy 2) + (y+z)") = cy | 
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(iii) AM AL7, 4JHamming 4, HAAK A 8 AAF; 除了 0 的 所 有 码 字 的 权重 
是 4。 因 此 Wot (a, y=a2'+72'y'’, 根据 MacWilliams 标识 ， 可 知 


Wro EW (zy yay) = ry HTa Gt) 


= r +7z'y'+7z' y" +y 
因此 ，X 有 ?7 个 权重 为 3 和 4 的 码 字 。 它 和 0 还 有 1L 的 码 字 一 起 构成 了 [7，4]Hamming 
码 的 16 个 码 字 。 

获得 等 式 (3. 4. 1) 的 另 一 个 方法 是 使 用 和 群 代数 以 及 Hamming X H F} ~ (这 是 在 维度 
为 N 的 领域 F, 上 的 线性 空间 ) 字 符 转 换 相 关 的 抽象 结果 。 为 简便 说 明 ， 下 标 g 和 上 标 CN) 
将 经 常 被 省 略 。 
定义 3.4.8 空间 F™YNM 上 的 (复数 ) 群 代数 CF*"* 被 称 为 复数 函数 G: xE FNG) E CH 
线性 空间 ， 其 中 这 个 复数 函数 由 复数 乘 方 ( 共 罗 ) 和 乘法 运算 组 成 。 因 此 ， 函 数 GCxz) 有 4 个 
运算 式 ; 加 法 和 标量 (复数 ) 乘 法 都 是 标准 ( 逐 点 ) 方 法 ， 其 中 (G 二 GD)(Cz) 一 GCxz) 十 GCCx)， 
(aG)(x)=aG(x), G, GE CF, a€ CG xE F”, REINIER) AAHH: 
G (x) =G(x)"; ERMESIER, WEC =G, REER, WE * 表示 ) 表 示 卷 积 : 

(G*G')(x) = >) GOG x— y), x € FX (3. 4. 16) 


yoRrXN 

这 就 将 使 CF** 变 成 了 一 个 交换 环 ， 同 时 它 也 是 维度 dime F =q 的 (复数 ) 线 性 空间 。 
(代数 ， 即 交换 环 和 线性 空间 的 集合 .)CF” > 中 的 特性 基础 由 Dirac( 或 者 说 Kronecker) 的 6 
函数 97 FRM, FLA (x) =1l(x=—y), x, ye. 

MRACE RAPES, 我 们 就 假设 Ga (x) =10xE 2). 

我 们 需要 证 明 乘 法 运算 规则 (3.4.16)。 如 果 我 们 重新 在 对 称 式 >， GWGU” 

ny EF” yty =x 

中 写 下 RHS，( 这 使 得 * -乘法 运算 很 突出 )， 接 着 还 会 出 现 多 项 式 乘 法 的 类 比 。 事 实 上 ， 
如 果 AC) =a, tatt tant, A'A) =al Halt e +a XBAKESHRH ARS 
符 串 分 别 是 (ao ， be ay) Milah, sess apes 那么 乘积 BYD=AMA (OWE BAR 


(Bos ees bi-1+r-1) 满 足 b, = > Qa o 


mm >0:mtm =k 


从 这 个 可 以 看 出 ， 代 (3. 4.16) 有 一 些 多 项 式 类 型 的 乘法 运算 。 当 然 ,， E<n-1 的 多 
项 式 构 成 纬度 为 n( 复 数 ) 线 性 空间 。 但 是 ,它们 并 不 能 构成 一 个 群 (甚至 是 半 群 )。 为 了 构 
成 一 个 群 ， 我们 应 该 加 入 倒数 1/:，1/# F, 或 者 考虑 加 入 无 限 序列 以 及 约束 六 二 1( 即 将 
当 作 循环 群 中 的 一 个 元 素 ， 而 不 是 “自由 ”变量 )。 相 似 的 结构 可 用 于 由 儿 个 变量 构成 的 
多 项 式 ， 但 是 ， 在 这 里 ， 变 量 之 间 存 在 很 多 约束 。 

回 到 我 们 的 群 代数 C3 和 2， 我 们 将 采取 以 下 步骤 : 

(i) 生成 一 个 Hamming 群 .的 “乘法 模型 版 本 。 即 ， 取 由 xzE. 冯 标志 的 “正式 ” 变 

量 :中 集合 ,对 所 有 的 x; x’ CH, BRP? =10*, 


GD 接着 考虑 由 所 有 (复数 ) 线 性 组 合 G = x yt”? 构成 的 集合 T. 知 ， 引 用 (iil) 加 法 
运算 G 十 G' = a Cyr 十 74)t Gi2) 标量 乘法 aG = Danse? »G,GETH#H, a€C, 


再 次 获得 维度 为 os 的 线性 空间 ， 它 是 由 “基本 ?” ae ©, xe . 知 构 成 的 基 。 很 明显 ， 
T. 知 和 C . 知 像 线性 空间 一 样 是 同 构 的 ， 其 中 Geg. 
GD 现在 ， 去 除 ze2 中 的 括号 (但 依然 遵守 Ceo He), SBM g(t) 是 个 由 多 个 遵守 
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上 述 规则 的 变量 :构成 的 函数 (事实 上 是 个 “多 项 式 ””， 像 g(1) 一 样 写 下 3》 yt* 。 最 后 ， 


EW 
参考 在 T. 知 中 的 多 项 式 乘法 g(2g a). Al TAA C . 知 不 仅 是 个 同 构 的 线性 空间 也 是 
个 同 构 环 ， 即 代数 形式 。 
上 述 步骤 非常 好 ， 它 不 仅 可 以 用 于 .rw， 而 是 能 够 用 于 任何 群 。 它 的 能 力 在 MacWil- 
liams 等 式 的 微分 中 得 到 了 证 明 。 
PUA, 我们 将 CHR PREM Oo See 的 自 变量 i 的 函数 集 


g@)'= D}va* (3.4.17) 
re’, 


其 满足 多 项 式 的 加 法 规则 以 及 乘法 规则 。 
MAG. 4. 17) 一 样 ， 对 于 一 个 线性 码 居 CC. 和 6,， 我 们 令 


Ret) DN (3. 4. 18) 
re 


EP, ga OEE RIEZ 的 生成 函数 。 

定义 3.4.3 VER, —PMEMIBR SAL: FS 的 简单 归纳 是 对 的 。 需 要 注意 
Fourier 变换 (以 及 其 他 常用 转换 方法 的 类 型 (也 就 是 在 群 论 中 的 Hadamard 的 变换 )) 的 相 
似 性 。 
定义 3.4.9 定义 群 代数 CH, 中 的 字符 变换 g EH 


B®) =, AUEN (3. 4. 19a) 
re, 
其 中 g(s LEH) 
Kg = p2 me . y) (3. 4. 19b) 


RE, xe y EEH. 中 的 点 乘 P 运算 。 


现在 定义 群 代数 元 素 gE C6 的 权重 术 举 为 变量 s( 它 可 能 被 认为 是 复数 变量 ) 的 多 项 
式 W,(s): 


Ww.) = ire? = TD rel = DS) Ass'ss€ C (3. 4, 20) 
k=0 x:wl(x)=k O<k<n 
其 中 
A, = yg (3. 4. 21) 
x€ FE :w(x) =k 
SFREGBL. ERRA gy (1) (参见 式 (3. 4.18)), A, 为 权重 为 & 的 码 字 数量 : 
A, = #{x E€ #:w(x) = k} (3. 4. 22) 


gs 一 (7 ，xE.5) 为 字符 变换 & 的 权重 Wes), EW 
Wels) = 2 x. (gos = ST Ss) X,(g) |s! =e (3. 4. 23) 
k 


OSkSn xyux)= 
其 中 
Ages of Ra (3. 4. 24) 
XE FO wl) =k 


这 个 “抽象 ”MacWilliams 标识 会 在 接 下 来 结论 中 展示 。 
定理 3.4.10 我 们 有 

Wels) = 41 + Xe— F(a. | (3. 4. 25) 
证 明 和 引 理 3.4.4 基本 一 样 。 口 
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MARA, AA, 而 言 ， 重 新 定义 式 (3. 4. 25) 


> At = DA dH d+ as) (3. 4. 26) 
k=0 k=0 
它 可 以 扩展 为 
a= s) A+ (q—D)s)"* = JIK: ()s' (3. 4. 27) 


这 里 ， K(k)(=K,(k, Ns @) Æ Kravchuk 多 项 式 : .对 于 所 有 i, k=0, LF Toes) Fh 


主人 大 k — k 
K@= > whe ER 


j=0V CHa) (J J EI 
0 V G+k—n)= maxl0,it+k—n],i A k = min[i,k] (3. 4. 28) 
那么 
Me A Cs RY 
0<k<n 0<k<n 0<i<n O<i<n OSk<n 
= paula a) s* 
0<k<n VSi<n 
即 
Ay = SOAK (3. 4. 29) 
0<i<n 
口 


引 理 3. 4. 11 对 于 任意 (线性 ) 码 .EMU2,， 其 生成 函数 表示 为 gy 一 1CzE 多)， 字 符 转 换 
系数 通过 
X (ge) = # Klue) (3. 4. 30) 
相关 联 ， 并 且 字 符 转换 表示 为 
Bg = + X gr (3. 4. 31) 
EPL 是 对 偶 码 。 
证 明 根据 引 理 3. 4.2 可 得 


X,(ge) = (DE) Dy = # Ziwe 2) 
xe 2 YER 


FXE, 4AU4uCR HN, FYES IO WEKE. Mie 
二 


xe GE xE HO 
=# 2 r= yE gett) 
re gt 
因而 有 
We, (s) = + BW, (s) (3. 4. 32) 
口 
对 于 线性 码 我 们 能 得 到 MacWillams 等 式 : 
定理 3.4.12 42H, ARE, K ATHHBSA, MTNA 
Walls) = Aust Wat Cs) = Dats (3. 4. 33) 
k=0 k=0 
上 面 二 式 分 别 是 多 和 .8 的 w 枚 举 元 素 ， 其 中 A= HEK: w(x) 二 k)。 然 后 可 得 下 式 
ek LSO Py i ee 
Wells) = ge I+@—Ds) ly) C (3. 4. 34) 
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上 式 等 价 于 
=e DAK. (i) (3. 4. 35) 


其 中 K, (i) Kravchuk 多 项 式 ( 参 见 式 (3. 4. 28))。 
对 于 二 元 码 ， 即 gq 二 2， 式 (3, 4. 34) 可 以 表示 为 式 (3.4.3) 的 形式 。 有 时 权重 枚 举 值 被 
定义 为 


We (sor) = Anri (3. 4. 36) 
k 
WW MacWilliams 标识 式 (3. 4. 33) 表 示 为 
Weilsr) = ALAE IO (3. 4.37) 





MacWilliams 等 式 是 非常 强 有 力 的 结论 ， 特 别 是 当 码 是 自 对 偶 码 时 ， 它 能 够 深入 解析 
(线性 ) 码 的 结构 。 

MacWilliams 等 式 帮 助 建立 了 一 个 关于 线性 码 的 有 趣 界 限 ， 称 为 线性 规划 (LP) 界 限 。 
首先 ,我们 讨论 这 个 等 式 的 一 些 即 时 结果 。 如 果 儿 人 C. 和 pv, 是 大 小 为 M 的 码 ， 令 


By, = ape {Gay xy E S(x,y) =k} .k =0,1,,N 


(每 对 x，y 值 都 被 计算 两 次 ) 。 数 字 Bu Bis +, By 构成 码 多 的 距离 分 布 。 表 达 式 
Bg (s) = >} Ba (3. 4. 38) 


O<k<N 


BAL WES aE, RAE, REB wP d- 分 布 一 致 。 而 且 ， 我 们 有 如 下 引 理 
引 理 3. 4. 13 LN，MJj 码 8 d - 枚 举 和 如 下 群 代数 元 素 的 也- 枚 举 相 一 致 


har (5): = ikr Okr) (3. 4. 39) 
RPL GHAR BRE 
ta (s) = PIRE (3. 4. 40) 
ZE 他 


证 明 利用 符号 (s“，)*， 可 得 
hg (s) = HDs ys PDJ F? 


E JEH M sex 


因此 有 


Wiy (3) = 4 om Re Iwl p = k) = S Bys* 


O<k<N x, YER: O<k<N 


= Bg (s) 





o 
现在 通过 利用 MacWilliams 标识 ， 对 于 给 定 的 非 平 凡 字 符 y 以 及 相应 的 变换 CHE, 

我 们 可 得 如 下 定理 

定理 3. 4. 14 对 于 上 文中 的 hg (RL, WRig ORFHER, Wep (REM w- 

枚 举 ， 其 中 


Wig Cs = R= N DE Xs hg) | 


0<k<N 0<k<N wlx) =k 


则 有 
3, =) Bae 


0<i<N 
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其 中 K, (i) 4# Kravchuk 多 项 式 。 
接 下 来 的 说 明 是 直接 明了 的 。 

引 理 3. 4. 15 ”下列 等 式 成 立 : Xu (Co ls !)) 二 x Ee), KPRRATLER, 
根据 定理 3. 4. 15， 我 们 可 得 如 下 等 式 


yey = Saye (Lor (Sb (SD) = Saye Lar (8) 40 (5)) 


= wat (bar (S)) Xx Ca (s)) = ilz (be (5)) E 


所 以 ， 
B= D rhos la) >o 
x: w(x) =k wix)=k 
因此 有 如 下 定理 : 
定理 3. 4. 16 对 于 所 有 的 [N， AM] 码 .2 ， A k=0, het” N, 可 得 
>) BKD >0 (3. 4. 41) 
0<i<N 


LEH Ht (x, WECLRKRHKE: 


>) Bi = M’ 
<N 
或 者 
DE =M, #4 EF, = ZB, (3.4, 42) 


0<i<N 


(有 时 Es, E, ++, Ey 被 称 为 您 的 @- 分 布 )。 根 据 (3.4.41) 一 (3.4.42)， 可 得 
>) E:K.iG) >0 


SLIPHIRRL, HED, 0<I<N, E=1, E=0, 1<i<d. 
证 明 设 取 是 本 原 第 gd 个 单位 根 ，xE FY 为 权重 i 的 固定 字 。 则 
o? = K,(i) (3.4. 43) 
very :w(y)=k 
事实 上 ， 我 们 也 许 会 假设 =r, ERER z; 不 等 于 0。 令 卫 为 字 的 集合 ， 它 
包含 给 定位 置 的 集合 中 非 零 坐标 。 假 设 准 确 的 j Eh, s h 属于 [0, il, R-j 位 置 
i) (N=i 
属于 [i 十 1，N]。 对 此 ， 在 | | 3 中选 择 一 个 集合 ， 那么 
J = 


> = > > wh hy bagre Th, 


?ED F* * 
Yh EFi Yh ER 


= (a DE dio? = (=1N(g— 1 
Iyer 
因此 ， 


N 


N 
MOBKD= >) 2 Se Btu 


i=0 HIER RD 一 ie 了 :wlz)=k 





2 
> eee | = 0 
zem wlz) =k EZ 


这 就 得 到 在 定理 3. 4. 17 中 表述 的 所 谓 线性 规划 (LP) 界 。 口 
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HE 3.4.17 (LP 界 ) 下 边 的 不 等 式 成 立 : 


M; (N,d) Smax| >) £,:E,>0,E,=1,£E,=0, 1<i<d 
0<i<N 
fi >) EK,@>0, 0<k<N|] (3.4. 44) 
0<i<N 


对 于 q=2, LP 界 将 会 稍微 增加 ， 这 将 在 定理 3. 4. 19 中 说 明 。 首 先 提出 一 个 辅助 结 
果 ， 它 的 证 明 简 单 明 了 ， 将 会 留 作 练习 。 
引 理 3.4.18 (a) 如 果 存 在 一 个 三 元 LN，M， dj 码 ， 其 中 d 是 偶数 ， 那 么 存在 一 个 二 元 
[N, M, dj 码 ， 其 中 任意 码 字 的 权重 是 偶数 ， 且 所 有 的 码 距 都 是 偶数 。 因 而 ， 如 果 
q=2, d 是 偶数 ， 我 们 可 以 假设 对 于 所 有 的 奇数 值 i 有 下; 二 0。 

(b) 对 于 gq 二 2， 有 

K,(2k) = KCR) 

因此 ， 当 d 为 偶数 时 ， 由 于 我 们 假设 了 Ex =0, RAS k=0, +, [N/2]H, AG. 4.44) 
中 的 约束 条 件 才 会 被 考虑 。 

(c) FMAM i RM, KOG)=1, ABHSESOH, FD EKo@>0 成 立 。 

根据 引 理 3. 4. 18 ， 直 接 可 得 以 下 定理 。 
定理 3.4. 19 (LP 中 对 q=2 来 说 ) 如 果 d 是 偶数 ， 则 有 

M; (N,d) Smax| >) £,:6,>0.8,=1,8,-0 #t1<i<d, 


O<i<N 


~ 


E,=0 ”对 于 i 是 偶数 的 情况 ， 
N = N 

| +D EKOS 对 于 4 一 1 了] (3. 4. 45) 
k d< 攻 N 


AX M(N, 2t+1)=M; CN 十 1，2: 十 2)， 所 以 当 d HARMAN, BH 3; 4. 19 同样 给 
出 了 一 个 有 效 的 界限 。 我 们 将 更 进一步 探讨 MacWilliams 等 式 。 

LP 界限 是 编码 理论 中 的 一 个 相当 通用 的 工具 。 比 如 ，Singleton、Hamming、Plotkin 
界 都 可 通过 LP 界 求 得 。 不 过 ， 我 们 将 不 详细 研究 怎样 求 得 的 过 程 。 
举例 3. 4. 20 ”给 定 正 整数 NAdM<N, + 





N 
fe) =1+ Df RC) 
j=! 
为 一 个 多 项 式 ， 且 fj; 宇 0， FPISJ<N, OHK, EP d<i<N, A 
M; (N,d) < f) (3. 4. 46) 
根据 式 (3. 4. 46) 推 导 Singleton X. 


N。 对 于 d<ix<n Kivi, AE f(i)<0 意味 着 DIB (BPG) <0. 4k=0, 利用 LP 界限 
j=d 


N 


(3.4.45)， 可 以 获得 K;(0) >— 1B, (QK: G) 。 因 此 


N 
fO)= 1+ RA >1- DADA: (2)K, (i) 
j=l 


f N 
一 1 一 VBP) SK) =1— SB BFW) —1) 
i=d k=1 t=d 
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N 
>1+ YB) = M=M; (N,d) 
i=d 
为 获得 Singleton 界 ， 选 择 


N 


然后 ， 根 据 等 式 


Hp j=d—-1, 我们 有 


N =. N 
i f= 高 DDK s A > re PALOI MA 


pi [a> 


这 里 ， 我 们 使 用 如 下 等 式 





i (N—k N— 
ya | iste = "| ey (3. 4. 47) 

k=0 = J 
BR, 4Sd<i<NW, f()=0, AE, RN, DSO =g, AAAH, 可 
以 推导 出 Hamming 界 和 Plotkin $, [97]. 口 


举例 3. 4.21 利用 线性 规划 界 ， 证 明 M? (13，5) 二 M2 (14, 6)<64, HES Elias 界 进行 
比较 。( 提 示 : Es 二 42，Es 二 7，Ew 二 14，Eiz 一 Eu 一 0。 你 也 许 需 要 一 个 计算 机 来 计算 
ER.) 
解答 ”线性 码 的 LP 界 是 

Mi (N,d) =max >) E; 


0SiEN 


约束 于 下 ;之 0,Eo = 1,E; = 0, Td 
E, 二 0 其 中 7 是 奇数 , 且 


A |+ PEROSA E=] 


d<i<N 
i 是 偶数 


| 过 


当 N=14, d=6 时 ,约束 表示 为 
E, = 1,E, = E, = E, = E, = E; = E, = Ey = En = Eg= 0, 
Es ,Es , En E, Eu > 0, 
14+ 2E; — 2E; 6E — 10E,y,— 14Ey,> 0, 
91—5E, — SE, + 11 Ey + 43E,, + 91Ey,> 0, 
364 — 12E; + 12E, + 4E —100E,, — 364E,,>0, 
1001 + 9E, + 9E, — 39Ey +121E,, +1001E,,>0, 
2002 + 30E; 一 30E; + 38Ejo.-22E,2002E\,> 0, 
8003'— 5B, — SE; 27 By — 165By, + 30038E > 0; 
3432 — 40E, + 40E, — 72E + 264E — 3432E,,> 0 
目标 函数 S=E;, +E: + Ey +E, +E. RKE 
E; = 42,E; = 7,E\ = 14,E, = Ey = 0 


326 


328 
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Hr S=63, E,+S=1+63=64,. MM, LP FARM 
M; (13,5) = Mý (14,6) < 64 
注意 到 上 界 是 可 达 的 ， 因 为 L13，64，5] 二 进 制 码 的 确 存在 。 将 LP 界 与 Hamming 界 进行 
对 比 
M: (13,5) < 24/(1+134+13 + 6) 三 2/92 = 2" /23 

即 

My? (1355) 91 
‘kia, Singleton RAW S k13—5—-1=7 

M; (13,5) < 27 = 128 

同样 有 趣 的 是 ， 根 据 Elias 界 可 得 


13 
M; (13,5) < Bote É 


2 3s 485/2 





13 
Eei 加 
对 全 部 s<13, s?—13s+65/2>0, 

将 s 替换 为 ;=2， TN re A A 


M; (13,5) < 32 /+13 二 13 6) = 2. 33277 X 10° 
这 结果 不 够 好 。 然 后 ， ae i s?—13s+65/2=9—39+65/2=5/2>0 H 


M; (13,5) < $228 /(1+13+13- Gk Teco 5) = 13% Gy aca" 


这 没有 el hehehe’ 最 终 ， 当 看 到 4—13X4+65/2<0 时 ， 步骤 结束 。 加 


3.5 渐 近 好 码 


在 这 一 节 中 ， 我 们 简要 地 讨论 一 些 码 族 ， 其 中 校正 误差 的 数量 等 于 码 长 乘 以 一 个 非 零 
分 数 。 更 多 详细 内 容 ， 参 见 文 献 [54]、L71]、[131]。 
定义 3.5.1 Æ k/N: 和 qi;/Ni 的 界 大 于 0， 则 [LN;，&k;，dij 码 的 序列 是 浙 近 良好 的 且 
Ni 一 ce 。 

定理 3. 3. 25 表明 本 原 BCH 码 的 序列 不 是 渐 近 良好 的 (实际 上 上， 任何 形式 的 本 原 BCH 
码 的 序列 都 不 是 渐 近 良好 的 ) 。 理 论 上 来 说 ， 产 生 一 个 渐 近 的 良好 的 码 最 好 的 方法 是 所 谓 
的 Justensen 码 。 首 先 定义 一 个 好 的 码 字 ， 使 044€ Fr 二 F8?， 同 时 定义 集合 

Ha = {(a,0a):a E F%} C3555 1) 

Kia, Ka EAM, m REB, BARERA 1/2. HA a=ba ‘(Rn PHB), R 
AIT WME FESS Ha, DEK, PRE. WIE, WE ata, WYNK ={0}. 

WE, AE ASAE (0, 1/2), 我们 需要 找到 aans KEK. W HRES 2m. 
由 于 非 零 二 进 制 (27) 码 字 可 以 出 现在 大 多 数 的 多 . P, WREEF Om) ZAFE 
ama 是 过 2 一 1 的 ， 那 么 我 们 可 以 找到 这 样 的 a， a ERRAZ. 码 的 数量 。 也 就 是 说 ， 如 
果 在 
2m 

|< hi 


1<i<2m—1 | 1 


2 
或 者 更 好 的 条 件 。》) PoE 我 们 可 以 使 用 上 述 定理 。 现 在 使 用 如 下 引 理 ， 
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引 理 3.5.2 #O0<A<1/2, 


p> 


o<é<[an | 


k 





N 

|< 2M% 4, 5:2) 
APOR. 
证 明 对 于 4=0 UR A=1/2(RHS 等 于 2%), eA epee 5.2) 成 立 ( 它 的 左右 两 
边 都 等 于 1)。 所 以 我 们 假设 0 二 人生 1/2。 考 虑 到 一 个 二 项 分 布 的 随机 变量 £:， 满 足 

N 
P(e = k) = Asa 

给 定 的 ER ， 使 用 如 下 Chebyshev 不 等 式 


N)/1\% 
by | ea = PEKAN) = Plexp(—¢) >e™) 
o<tean |k 2 


ee ee eee (4 + pe"): 53) 
对 于 t>0, 在 z=e“ 中 ， 即 0<z<<1， 最 小 化 式 (3. 5. 3) 中 的 RHS。 它 服从 最 小 值 e '=2/ 


(1 一 1)， 最 小 值 为 


(te EG Eo, 


其 中 =a, A, RG. 5. 2) 表 明 





NII A anm E 
ein ie) < 2M” (>) o 
由 于 定理 3.95.23 ARA DWA, 4 
Deg FH — | GS. 8.4) 


现在 ， 举 例 





(其 中 O<A<+), FCG. 5. DAR 2m <2" — 1, Ym LBA IE. 4 moolt, 


Anh '/2)>0, EX HH AR PR, 7 BRAC CO, 1/2] 70). EA a H 
码 (3. 5. 1) 中 ， 信 息 速率 为 1/2 但 无 法 保证 d/2m 远离 0。 此外， 没有 一 种 有 效 的 方法 找到 
一 个 合适 的 a 二 a, 。 然 而 ， 在 1972 年 ，Justensen 展示 了 怎样 利用 RS 码 码 字 的 截断 去 获得 
一 个 好 的 码 字 序列 。 

更 确切 地 ， 考 虑 一 个 二 进 制 k) Fa, BAH k 间隔 的 外 大 小 码 字 : aSa a” … 
ax% 2。 用 图 形 表示 ， 


ke ke 
Nd) eS de 
a’? Phos 1) 


我 们 固定 一 个 在 Fe ECN, ko d UES: 2 CE 。 然 后 序列 a 编码 成 一 
Feaci en EN 接 下 来 ， 每 个 c; € Fe 用 码 字 6b, 编码 ， 它 来 自在 上 的 一 个 码 多 ;， 
叫 作 内 码 。 结 果 就 是 长 度 为 Ni N; 的 序列 8 一 00 +BY? ERM ， 


OE BR» 0O<i<N,—-1 


329 


330 
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编码 过 程 可 以 用 图 表 表 示 : 
输入 :一 个 (kiks) 的 数列 a， ”输出 :一 个 (NiNs) 的 码 字 忆 
观察 到 不 同 符号 c 可 以 用 不 同 的 内 码 编码 。 令 外 码 2i 是 一 个 在 Fn 上 的 [2m 一 1, k, 
dj]RS 码 %”。 记 一 个 二 进 制 (E2")- 码 4 为 ca RRR, pHa E Fre MA” ia 
PR — AB Fc =coci cn,» HAP N 二 2" 一 1，ci€ Er。 令 B 为 在 Fr 中 的 原始 元 素 ， 那 
么 对 于 所 有 j= 二 0，…，N 一 1 二 2 一 2， 考 虑 内 码 
BY = ((c,Bic):c E En} (3.5.5) 
最 后 的 码 字 (一 个 “超级 码 ”) 是 
b = Ceo sco) Cei »BC1) Cers cz) *** (cn 9 BY ena) (中 有 6) 
定义 3.5.3 Justensen BV", 是 用 上 述 方式 获得 的 二 进 制 超级 码 字 的 集合 ， 以 
[2"—1, k, d]RS HVE HIBS, KO ( 见 (3.5.6)) 作 为 内 码 ， 其 中 Oo<j<2"-2, GB 


KERNEN mO", BH me, HRR <1/2, 


一 个 描述 .%Y 的 参数 是 N 三 2 一 1，RS 外 码 的 长 度 。 我 们 想 当 N->se 时 构造 序列 
Rl, MA R/(2m(2"—1)) Al d/(2m(2"—-1)) AH. MIÆERZR EO, 1/2), i 
长 度 为 N 的 RS 外 码 ， 其 中 N=2" 一 1 BH R=[2NR. J. BY WR BH R/(2N)>SR,. 

现在 考虑 最 小 重量 

w(K") = minfw(x) x E Bex FOC dA) (3. 5.7) 
对 于 任何 固定 的 m， 如 果 RSIK ，N=2" 一 1， 有 最 小 重量 4， 那 么 超级 码 字 4b 二 (co， 
co) (ce1， Ber) leyar picwDE 和 有 大 于 等 于 2 个 非 零 起 始 元 素 co，…，cw_!1。 进 一 
E, FET BITTER, BO, oe, BO OPH ABA OBA. BRU, SMA AAR 
同 码 的 & 个 有 序 对 必须 彼此 不 同 。 也 就 是 说 ， 超 级 码 字 65 有 大 于 等 于 4d 个 不 同 的 非 零 二 进 
制 (2m)- 序 列 。 所 以 ， 我们 需要 对 这 样 的 和 建立 下 界 。 注 意 到 

ike Sane n(i-5+)> N(1 — 2R,) 

所 以 ， 一 个 超级 码 字 5E A%V*, 有 至 少 N(1 一 2R,) 个 不 同 的 非 零 二 进 制 (2m)- 数 列 。 
定理 3.5.4 任意 N(1 一 2Ro) 个 不 同 的 非 零 二 进 制 (2m)- 数 列 的 重量 之 和 为 


> 2mN(1 一 2R) 7" (F) 00 (8. 5. 8) 


证 明 通过 引 理 3. 5.2， 对 于 任何 XE[0，1/2]， 重 量 志 2ma4 的 非 零 二 进 制 (2m)- 数 列 的 数 
目 为 





的 
< ee D2m ca) 
1<ix2ma | 1 
去 掉 这 些 轻重 量 的 序列 ， 总 重量 为 
A) 
> 2m (NC — 2Ro) — 24) = 2mNA 1 — 2Ry) (1 — NO) 
0 


1 


; we he! sae 
TA, = 7 E log(2m) 


续 。 所 以 ， 


JECO, 1/2). Rian eq 1/2), HF ALO, 1/2] bie 


de =H" (+ bs i (z)-0@ 
由 于 N=2"—1, RME 4 m>, Nok} 
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gaa 1 Qm—2m/ log(2m) 
NC = Ro Laake 21. 
gi BP an 1 
> T= 2R, 2" 1 2em 
所 以 N(1 一 2R,) 个 不 同 的 (2m)- 序 列 总 重量 的 界 为 
2mN (1 = 2R) (7 (1/2) — 0(1)) 1 = 0(1)) = 2mN (1 — 2Ro Cy C1/2) — 01) 


+0 


因而 得 到 结论 。 口 
定理 3, 5.4 证 明了 .多 ,有 
WEH) > 2mN (1 — 2R) CT (F) 01) (3.5.9) 
并 且 
w Ee.) 


ae > (1 2R) (1/2 1 = (1—2R))y?Q1/2 
length Z) 0) Cp 2mo A on (1/2) 


FLL, k=[2NR,]; N=2"—1 和 速率 固定 O<R,<1/2 HAIL AA BRRSR >, 
并 有 





E A) 
length Z” ,) 
在 构造 中 ，RuE(0，1/2)。 然 而 ， 通 过 截断 可 以 达到 任何 给 定 的 速率 ReE (0，1)。 参 见 
文献 L110]。 
这 一 部 分 讨论 的 下 一 族 码 通过 交替 码 形成 。 交 替 码 是 BCH 码 的 推广 (尽管 通常 不 是 循 
环 的 )。 像 Justesen 码 ， 交 蔡 码 也 构成 一 族 接近 完美 的 码 。 
令 M 为 一 个 在 域 Fm 上 的 (rXn) 和 矩阵 : 


i Gia 


>c(l—2R) > 0,c= 7 (1/2) 之 0.3 (3.5.10) 


M = 








i, a ee 
像 之 前 那样 ， 每 个 cy 可 以 被 写作 cy CCF)", EREKE Am 的 列 向 量 。 也 就 是 说 ， 我 们 
可 以 认为 M 是 在 域 F, 上 一 个 (mrXn) 的 矩阵 (再 一 次 被 标 为 M). 

RETR, s a CF, RNA 




















2 iS 
aj Cy Cin a) 1<j<n 
ME : ; |= : 
a c "i G a > 
n rl m n ajc, 
Ijin 


进一步 ， 如果 5EF，c，dE€E Fn, BAbc=beWRe+d=(ce+d),. MU, Ma, =, 
a,C Ey 那么 

















一 一 ， > acy 
a, Ch -ETSSI ay | io 1<j<n 
M|: |= 2 = ; 
an Cr ue Cm an > ail 
l<j<n 


所 以 ， 如 果 M 的 列 在 Fe 上 为 线性 独立 的 二 -= 向量， 它们 也 是 在 F EREI A iy Cm) -e 
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量 。 也 就 是 M 的 列 在 Ff, 上 线性 独立 。 
考虑 到 如 果 w 是 单位 向 量 的 初始 (n，Fm) 根 ， 并 且 6 宇 2， 那么 在 RF EH nX Gnd) 
Vandermonde 和 矩阵 








é e e 
i Pe a 
H" = Ag si 28-1) 
ad DD 
检验 一 个 狭义 BCH 码 .多 (一 个 正确 的 奇偶 校 验 矩 阵 需要 经 过 列 清除 )。 通 过 在 Fn 上 
Bin Xr FRED Z 
hy hia ae" hiai” hiai ' 
a= w heme haag" beni 655 00 
ha hats °° Ror” hak” 
或 者 它 在 F, EM nX MÉR: 
hy hia T hiat? iat 
= She A a Mae 
-Ns (3.5. 12) 
he hia Tia hae 





在 这 里 ， rs hy; ong h, 是 非 零 元 素 ， wry PFs a, ve F, PA MCR © 
注意 到 (3. 5. 11) 中 A 的 任意 7 行 组 成 类 似 于 Vandermonde 矩阵 的 亚 方 阵 。 它 的 行列 
式 非 零 ， 因 而 A 的 任意 7 行 在 FO 和 Fy 上 线性 独立 。 此 外 式 (3. 5.11) 中 A RIE Fr ER 


性 独立 。 然 而 式 (3. 5. 12) 中 4 的 列 可 以 是 线性 独立 的 ， 需 要 消除 这 些 列 以 产生 完美 的 奇偶 
BE I E H., 

定义 3.5.5 Sa=Cars “ts and, A= (hys ty hn)» Etas s aam] his ots h, Æ 
mm 上 的 非 零 元 素 。 给 定 r<n, ROB (3.5. 12) nX (rm) MH A 的 核 。 

定理 3.5.6 SU KRAn, RAR, BR n—mr<k<n—-r, RBH ARES. 

我 们 看 见 交 替 码 的 确 是 BCH 码 的 扩展 。 交 替 码 定理 的 主要 结果 是 下 面 的 定理 3. 5.7 
(这 里 不 再 证 明 ) 。 
定理 3.5.7 存在 任意 长 的 交替 码 .8 满足 Gilbert-Varshamov 界 。 

所 以 ， 交 替 码 近似 完美 。 更 确切 地 说 ， 一 组 接近 完美 的 交 蔡 码 由 所 谓 的 Goppa 码 产 
生 。 见 下 面 。 

Goppa 码 是 交替 码 的 典型 例子 。 它 们 由 俄罗斯 码 学 家 ，Valery Goppa 在 1972 年 发 明 ， 
产 自 来 源 于 解析 几何 的 优雅 想法 。 在 这 里 ， 我 们 用 本 部 分 采用 的 方法 来 演示 它 的 构造 。 

A G(x) € Er[zj] 是 Er 上 的 多 项 式 ， 考虑 Re [zxj/《G(x))， 多 项 式 环 在 Fn 上 mod G(x). 
那么 En [zj/《G(z)) 是 一 个 域 当 且 仅 当 G(x) 不 可 约 。 但 如 果 ， 对 于 一 个 给 定 的 CF, 
G(a) 关 0， 线 性 多 项 式 久 一 a Æ Frl] G ETE. KE, A 

G(X) = q(X)(X — a) + Gla) (3. 5.13) 
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其 中 ga(X)ER[X], deg q(X)=deg G(X) —1, 
所 以 g(X)(X—a) =—G(a)mod G(X) RF 
(— G (a) 'q(X))(X — a) = e mod G(X) 
和 
(X — a)! = (—G (a) 'q(X))mod G(X) (3. 5. 14a) 
由 于 q(X) =(G(X) —Gla)(X—a)!, 我们 有 
(X —a)™ =— (G(X) — G(a)) (X — a) 'G (a) mod G(X) (3. 5. 14b) 
我 们 定义 (X 一 a) ERC. 5. 14a) Fm [21 /(G(e)) EM BM. 
定义 3.5.8 固定 一 个 多 项 式 G(x)E [LX] 和 Fm 上 不 同 元 素 的 集合 a 二 (gm ，…, aed, GS 
n>deg G(X), HP G(a;)= 二 0，1 志 jn。 给 定 一 个 码 字 5 二 (6b ，…，b,)， 其 中 6b: € ,， 
l<i<n, 设 


R(X) = 5) 6; (X—a,)* € F..LX1/(GX)) (3.5. 15) 
I<i<n 
q 进 制 Goppa 码 %”( 一 多 sc) 定义 为 如 下 的 集合 
{b € F1:R,(X) = 0 mod G(X)} (3. 5. 16) 


BR, RE PREG. SRK GCz) 叫 作 Goppa 多 项 式 ; 如 果 G(CX) 不 可 约 ， 我 们 称 多 ”不 
可 约 。 
所 以 b 二 DI ，*…，b, EX” 4 A M4 te Fw [z] 上 
>) aG) — Gai) (X — a) G (a) = 0 (2: 52.29) 


l<i<n 


我 们 有 GOXO= 2 g:X', HEH deg G(X)=r,. g,=1, r<n, BALE Fe [Xj 中 


Sir 
(G(X) — Ga) (X — ai = >) gj (X? — ai (Xa) 


o<j<r 


=- 村 3 Xa 


O<j<r 0Susj-l 


所 以 
DbiG(X)— Gai) (X — ai) Gla) 


1<i<n 


= yo: ») bJ at *X"G (a) 


l<i<n 0<j<r 0<u<j-I 


SSL HES SUN GO ee ihr a 


o<uxr-1 l<i<n uHi<j<r 


PU, 4AM 4 Fr bit, LEZ”. 
6G T gait =0 (3. 5. 18) 


1<i<n utl<j<r 


对 于 所 有 的 u=0, **, r—l, 
等 式 (3. 5. 18) HE 2 BY AFB BEBE, PE, RTA BE 


G (ai) 一 G (a) e. G (an) 
aG (ai 于 az (a) i a,G Cn 
aiG (a) aG (a)! = G la)?! (3.5.19) 


of Glad ua Gan a a G Ce Ya 
它 是 在 Fr EHAaAXNERE, RET ARR. SAT, EEG. 5. 19) 的 任何 > 行 在 
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Fe 上 线性 独立 ， 列 也 是 这 样 。 同 样 我 们 将 (3. 5. 19) 写 成 一 个 在 Fr EM nX (mr) ME; 经 
过 消除 线性 相关 的 列 ， 我 们 得 到 奇偶 校 验 矩 阵 H. 

我 们 看 到 多 是 一 种 交替 码 QS H a= las s ads h= (Gla) ， s 
Glan) “，)。 所 以 ， 定 理 3.5.6 说 明 
定理 3.5.9 a 二 (a，*…， an), deg(G(X))=r<n ti q 进 制 Goppa BR =BMKRAN 4k 
Ak, BR n 一 mr 志 k 寺 n 一 r， 最 小 距离 d(Qert+1. 

跟 之 前 一 样 ， 最 小 距离 的 界 在 二 进 制 的 情况 下 能 得 到 改善 。 假 设 一 个 二 进 制 码 字 5 二 
bis ty ER, KPL EÆ—A Goppa MZ io» aC URGX) ERX]. MR wb) = 


w, by ==), =1. BAOO= [[ Ka), 微分 3xfs(X) 可 以 写作 

ls<j<w 

dxf (X) = R(X) FXO) (3. 5. 20) 
其 中 R(X) = >) (X 一 o ) (参见 式 (3.5.15))。 由 于 多 项 式 f,(X) 和 R(X) 在 任意 扩展 


Fx 上 没有 共同 的 根 ， 它 们 是 互 质 的 。 所 以 当 且 仅 当 G(X) 除 以 R,(X) 的 结果 与 G(X) 除 以 
Bxfs(X) 的 结果 相同 ，5E X%“。 对 于 gq 二 2，Oxf,(X) 只 有 X 的 偶 次 项 (由 于 它 的 单项 式 是 
CX 乘 以 某 个 o 的 乘积 的 形式 ， SC 是 奇数 时 它 会 消失 )。 换 句 话 说， 对 于 某 个 多 项 式 
ACX), dxf =h X )= hX); MAME gC(X) 是 被 G(X) 整 除 的 二 次 型 最 低 度 多 项 式 ， 
那么 G(X) 能 够 整除 xf,(X)， 当 且 仅 当 gC(X) 整 除 9xf;(X)。 所 以 ， 
DE RoR | axf,(X)OR,(X) = 0 mod g(X) (3. 5. 21) 

EH 3.5.10 令 儿 是 一 个 二 进 制 Goppa BAe, wR g( 久 ) 是 被 G( 义 ) 整 除 的 二 次 型 最 低 
度 多 项 式 ， 那 么 光一 22 ra d(H”) Sdegg(X)+1. 
引 理 3.5.11 假设 Goppa 多 项 式 GCX)E 了 杷 [X] 在 扩展 域 上 没有 多 根 。 那 么 ，%sc 一 
Reg, RVI Bd He) S2 deg GX)+1. HAM TAH ESdeg G(X) ABR. 

一 个 多 项 式 G(X) 没 有 多 根 的 二 进 制 Goppa 码 居 w6 叫 作 可 分 离 。 

讨论 一 种 适应 于 交替 码 和 基于 欧 几 里 得 算法 的 解码 步骤 十 分 有 趣 ， 参 见 2. 5 节 。 

解码 一 个 在 F, 上 的 交 蔡 码 .的 起 始 步 骤 如 下 。 如 同 在 (3. 5. 12)， 通 过 将 在 Fn 上 的 
n X7 和 矩阵 售 = Ah 1) 的 每 一 项 取代 为 长 度 为 mm 的 行 。 然 后 从 消除 线性 独立 的 行 。 回 想 
his ty hye FEB, as o> or 是 了 = 上 的 不 同 元 素 。 假 设 接收 到 一 个 码 字 u=cte, HP c 
是 正确 的 码 字 ，e 是 一 个 错误 向 量 。 我 们 假设 + 是 奇数 ，t<r/2 个 错误 产生 在 数字 1<i ee << 
5< 上 。 令 e 的 第 5 项 为 e, 地 0。 通 过 元 素 wi 很 方便 检测 出 错误 所 在 ， 当 对 于 Ai Ha Fay 
(ui 不同 ) ， 如 果 我 们 能 确定 w = a 我 们 将 知道 错误 的 位 置 。 此 外 ， 如 果 我 们 引进 错误 
位 置 多 项 式 


t 


xX) = [[]d—a,X) = 2 LX (3. 5. 22) 


oist 


其 中 心 一 1 和 根 a '， 那 么 已 经 足够 找到 LCX) WERK). 
我 们 必须 计算 校 验 子 (我 们 叫 它 A - 校 验 子 ) 通 过 和 矩阵 和 产生 ， 
uA = eA = 070e; =e; 010A 
假设 -核验 子 是 saw， 其 中 CD) 一 D) sX 。 很 方便 地 引进 错误 评估 多 项 式 
s(X)， 通 过 
{X = Jihan ll G-a,X) (3.5. 23) 


1<k<t ljtsjFk 
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引 理 3.5.12 ATA u=, 加 





(3. 5. 24) 
e = . Oe 
tho ey E 
1< 7 <u jj 
证 明 证 明 过 程 显 而 易 见 。 口 
关键 的 命题 是 LCX)，sCX) 和 xs(CX) 通 过 以 下 关联 
引 理 3.5. 13 下 面 的 方程 为 真 
e(X) = €(X)s(X)mod X" (3: 5. 25) 
证 明 写 出 下 面 的 步骤 
EKI AXIA E=) he, M 三 人 三 而 可) 二 大 区 着 六 
1<k<t 1<j<tijAk 0<i<r-1 
= Dhen | Ga, X)—eX) 5) Dd) hape X 
k Sjt jAk l 1<k<t 
= D)nie, [O a X) A D her DaX 
k jk k i 
= Dhsen([[ dQ —a,X) — eX) Dia X') 
k JER l 
= Pre, [[]a-a,X) —d—G—e,X) Sa X) 
k jk L 
ea 
= Dhaes Ls =X) (1 = (1 TRX) fee! 
= J hye, [| (1 —a:,Xai.X” = OmodX" 口 
k pk 
引 理 3. 5.13 展示 了 解码 交替 码 的 方法 。 我 们 知道 存在 一 个 多 项 式 g(X) 使 得 
e(X) = (X) X" 十 CCX)sCX) (3. 5. 26) 


我 们 也 有 deg e(X)<t—1<r/2, deg 0(X) =t<r/2, FFA 4(X) 和 el(X) 互 质 的 条 件 是 它们 
在 任何 扩展 中 没有 共同 根 。 假 设 我 们 将 欧 几 里 得 算法 用 到 已 知 的 多 项 式 f(x) =X’ Ale 
(CX) =s(X) ERRA) CCX) Al (X). MM 2. 5. 44， 一 个 典型 的 步骤 产生 了 余 式 

r(X) = a, (X) X* +6, (X)5(X) (3. 5. 27) 
如 果 我 们 想 让 OOM OB OOBH COM CY), 它们 的 度 必须 吻合 : 至 少 必须 有 degr 
(X)<r/2 和 degb:(X) 二 r/2。 所 以 ， 这 个 算法 重复 到 degr,(X)Sr/2 和 deg bi (X)<r/2. 
然后 ， 根 据 引 理 2. 5. 44 的 命题 (3)，deg b,(X) =degX"— deg r.-,(X)X<r—r/2=r/2, 3X 
是 有 可 能 的 ， 因 为 这 个 算法 可 以 循环 到 xr, (X)= 二 gcd(X"，s(X))。 但 是 之 后 ri (x) |e(X), 
所 以 deg r, (x)<deg e(X) 二 r/2。 所 以 我 们 假设 deg r(x) 二 7r/2，deg bi (x)<r/2. 

相关 等 式 为 

E(X) = q(X)X" + 0(X)8(X) 

deg e(X) < r/2,deg (X) < r/2 

gcd(e(X) LX))=1 
和 

ri X) = a,(X) X" +b, (X)s(X) deg nX /2 deb CRI /2 
我 们 想 要 证 明 多 项 式 ri, Ce) AD, (ae) FE eX) Al CCX) HAR, HER sX) 
by (X)e(X) — mR WK) = (bo, (X)q(X) ol KL RI 

由 于 
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deg b, (X)e(X) = deg bı (X) + deg e(X) < r/2+r/2 =r 
和 
deg r,(X)2(X) = deg r,(X) + deg 0X) < r/2+r/2 =r 
deg(b(X)e(X)—r, (a) e(X) <r, PU, bCX)e(X)— 1, (a) CCX) HAZE 0, Bp 
O(X) ry, CX) = e(X)b, CX) bX) qCX) = a, (X)ECX) 
FELL, ECX) | e( Xb, CX) Alb, (CX) |a XKX). (FE COO A (NEM, a, CX) Ab, (X) th 
是 这 样 ( 通 过 引 理 2. 5. 44 的 命题 (5))。 所 以 CX) =A 6, CX), RW eX) =Aar.(X). AF 
LOER D O 
总 结 一 下 ， 有 如 下 定理 。 
定理 3. 5. 14 (交替 码 的 解码 算法 ) 假 设 以 是 一 个 交替 码 ，r 为 偶数 ，i<r/2 个 错误 发 生 
在 接收 的 码 字 为 的 情况 下 。 然 后 ， 在 接收 到 的 码 字 中 : 
(a) 找到 A- 校 验 子 uA 二 50…s, -1， 对 应 多 项 式 s(X) = 》) siX'。 


i 
(b) 用 欧 几 里 得 算法 ， 从 F(X)=X, g(X)=s(X) F t, BAM (CX) =a, (X)X + 
by (X)s(X), HP degr,- (X)Sr/2, degr (X)<r/2. 
(c) R CX) =b, (0) 1 CX), e(X)=b 0) ry CX). 
REUX)RBREBSAA, BRA. ts was se o 为 错误 数字 。ei 的 
值 为 


ela ) 


Ce — 
hs [| (1 — eaz 
4 


这 一 部 分 背后 的 思想 建立 在 解析 几何 码 的 深远 发 展 上 。 解 析 几 何在 现代 码 设计 中 提供 了 重 
要 的 工具 ， 见 文献 L[98j]、[L99]、[L158] 和 [L160 1] 。 


3.6 本 章 附 加 问题 


问题 3. 1 定义 Reed-Solomon 码 并 证 明 它 们 是 最 大 距离 分 离 。 证 明 Reed-Solomon 码 的 对 
偶 是 一 个 Reed-Solomon 43, 
找到 长 度 为 15， 秩 为 11 的 一 个 Reed-Solomon 码 的 最 小 距离 和 在 Ws 上 的 生成 矩阵 
giGX), 用 已 知 的 FeR Hg (X) 5 Rw to X+w2 K +e, 每 个 系数 为 Fy 中 的 原始 元 
FHA, 
在 Fe 上 确定 一 个 两 位 错误 纠正 Reed-Solomon 码 ， 找 到 它 的 长 度 ， 秩 和 生成 多 项 式 。 
u = 10,1,2,3,4,5;6,7,8,9,10) ,满足 加 法 和 乘法 modll: 
Ont a2 <P Sao Lie 8. <9 
Dale eee BG LOGE eens: 36 


(3. 5. 28) 





下, 一 下 :的 域 表 为 ， 
0 1 2 3 4 5 6 7 8 
0001 0010 0100 1000 OO11 O110 1100 1011 0101 
9 10 et 12 13 14 
VOLO) SAI ALTO GUTTA LTO LO 
解答 ”设计 距离 6 过 gq 一 1 的 一 个 4 HE RS EZ ELIE 到 上 长 度 为 N==g 一 1 的 循环 
码 ， 其 中 生成 多 项 式 为 

ECX) = (X— aw’) Kw) — a") 
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deg(g(X)) =d—-1, KH w 是 单位 元 素 的 一 个 初始 (gq 一 1，E) 根 ( 即 下 的 一 个 初始 元 素 )， 
b=0, 1, =, g-2. Fot, os oo OME MEM) SLRAL’ + o 非 零 元 素 的 其 余 
N—6é+1#. 
KB WREF R=N—S+1. HBSO=N—k+1, 但 是 由 Singleton 界 可 知 距 离 应 该 之 
6 二 N 一 k 十 1。 所 以 距离 等 于 6=N 一 十 1， 即 “是 最 大 距离 分 离 。 
LL) 是 循环 码 ， 它 的 零 元 素 是 多” 非 零 元 素 的 逆 : 
局 
即 它们 是 


b bH b+q-d—-1 
ow yw soe PY a LF 


A5 ty AE MB Mist e+ (X) E 
RCX) = OX 6 OK ol He XH ee) 
其 中 b+ = 二 gq 一 6。 也 就 是 说 (2 ”)+ 是 设计 距离 为 gq 一 6 十 1 的 一 个 RS 码 。 
在 例子 中 ， 长 度 为 15 意味 着 g=15 十 1=16， 秩 为 11 使 得 距离 8 二 15 一 11 十 1 二 5。 对 
于 5b 二 1, 在 了 ,二 脱 上 的 生成 多 项 式 g1(X) 为 
gi(X) =(X —w)(X — wR— 0) (X —') 
=X! — lwt w +w Fa)’ 
十 (中 十 十 十 上 十 wi 十 w)X? 
— lw Hw Hw +09) X +0" 
=X F o X FoX + wy Xto 
其 中 计算 是 利用 到; 的 域 表 完成 的 。 
类 似 地 ， 长 度 为 10 意味 着 g==11， 秩 为 6, 距离 6 二 10 一 6 十 1 二 5。 对 于 5 二 1 在 上 
的 生成 多 项 式 g,(X) 为 
g: (X) =(X—w(X—w) (X — 0) (KX—w) 
=X' — (wto +w* tw) 
OE E E E E +0’) X? 
— (w +0’ Ha +0) Ho 
=X'+3X'+5X?+8X+1 
其 中 计算 是 利用 Fu 的 域 表 完成 的 。 
最 后 ， 一 个 在 有 ;上 的 两 错误 纠正 RS 码 必须 有 长 度 N = 15, BR O=5, MURA 
11。 因 此 ， 它 正好 是 之 前 的 16 进 制 [15，11]RS 码 。 口 
问题 3. 2 ” 令 儿 为 一 个 二 进 制 线性 [LN，R] 码 ， 儿 “是 重量 为 偶数 的 xE 作 的 码 字 集合 。 证 
明 下 述 命题 之 一 : 
Gi) =X. 
Gi) 全” 是 多 的 一 个 LIN， 一 1] 的 线性 子 码 。 
证 明 如 果 多 的 生成 矩阵 G 没有 零 列 向 量 ， 那 么 总 重量 》) w(x) 等 于 N2*!。( 提 示 : 


xe 
考虑 G 的 每 一 列 的 贡献 。) 
WL uA KEAN=2Y—1 的 二 进 制 Hamming 码 ， 避 广 , 是 对 偶 的 单 形 码 ，l 二 3，4，…*。 
N 阶 向 量 1…1( 所 有 数字 为 DARAK u PNDR? SA PALF MAL nL OL, Y 
重量 为 s HAZ HRA, HPA, =AL=1, ASA =0, Bik 
A; = N(N—1)/3!,A;, = NCN—1)(N—3)/4! 
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证 明 A> ,一 2 一 1( 即 所 有 非 零 码 字 x 所 重量 为 2 1')。 利 用 最 后 一 个 事实 和 二 进 制 码 字 的 
MacWilliams 恒等式 ， 可 以 给 出 A, 关 于 Kravchuk 多 项 式 的 值 K,(2 咎 !) 的 表达 式 : 


sno? ge fp ae a 
ECE he | | 


jova etn J 

在 这 里 ， QVWs 二 2 2 leman Sr 2] sA2°'=min[s, 2°'], WET 
的 表达 式 对 于 s=N=2'—1 可 给 出 正解 。 
解答 多" 总 是 秋 的 线性 子 码 。 事 实 上 ， 对 于 二 进 制 码 字 x Ax’, wet’) =wl(x) + 
w(x ) 一 2w(x 作 x)， 其 中 数位 (x 人 人 x) 二 zxjzx; = minlar, xi] WR x 和 x' 都 是 偶 码 字 ( 重 
量 为 偶数 ) 或 者 奇 码 字 ( 重 量 为 奇数 )， 那 么 x 十 x' 是 偶 码 字 ， 如 果 x BAGS. x' 是 奇 码 
F, WA xt RABE. MU, MRAAL, WAL ELPRESS: Y] 的 子 群 。 
所 以 ， 存 在 两 个 陪 集 ， 并 且 & BBW —K. MUR RON, k—-1). 

Be? = (gys o B) 为 多 的 生成 矩阵 G 的 第 7 WM. REYS {iS ov, k: By = 
1}, EPEY Swag?) =w, IKN. 和 ZO) HOR Ae? 的 部 分 等 于 

xE 
gw X paa = 91 

这 里 2 代表 了 补 集 {1，…，k}/W; 的 子 集 数目 ，2%! 则 是 W; 奇 子 集 的 数目 。 乘 以 N 
( 列 的 数目 ) 就 得 到 了 N2”!。 

WR H= Hi 是 Hamming 码 多 6 的 奇偶 校 验 和 矩阵， 那么 HEj 行 的 重量 等 于 数字 
l, =, 2—1, ISSI 二进制 分 解 中 位 于 j 的 数位 1 的 数目 。 所 以 ，w(h?) 二 2 个 ! (数字 
1，…，2' 一 1] 有 一 半 在 ij 处 为 零 ， 男 一 半 为 一 )。 所 以 ， 对 于 所 有 j 王 1，…，N， 点 乘 1， 
h? =w(h” )mod 2=0, Bl 1l--1lE Yue. 

现在 A;=N(N—1)/3!, 是 瑟 线 性 相关 的 三 列 的 数目 (因为 可 以 通过 固定 两 个 不 同 的 
列 进行 选择 : 第 三 个 是 它们 的 和 )。 接 下 来 ，4,=NCN 一 1)(CN 一 3)/41， 是 吾 线 性 相关 的 
四 列 的 数目 (因为 可 以 通过 固定 : (a) 任 意 两 个 不 同 的 列 ，(5) 第 三 列 不 是 它们 的 和 ，(c) 第 
四 列 为 前 三 列 的 和 进行 选择 )。 类 似 地 ，A;s = 二 NC(N 一 1)(N 一 3)(N 一 7)/51， 是 五 线性 相关 
的 五 列 的 数目 。( 这 里 N 一 7 表示 当选 择 第 四 列 时 我 们 应 该 避免 前 三 列 任何 一 种 2° —-1=7 
的 线性 组 合 ) 。 

实际 上 ， 在 对 偶 码 多 加 ,中 任何 非 零 码 字 x 有 了 双 (Cxz) 王 2:。 为 了 证 明 这 一 点 ， 注 意 到 
XZ; WERSWRKEH. HU. 将 x 写作 有 H 行 的 和 ， 并 令 W 为 参与 加 和 的 HH 列 的 集合 ， 
HHRH =w. 那么 w(x) SF1, 2, e, ae pj 的 数目 ， 使 得 在 二 进 制 分 解 7 三 
2 jot? ftir +2 j PA i mod 2 等 于 1。 如 前 所 述 ， 它 等 于 2*! (次 子 集 为 奇数 

tE 


HWRE) MUA, wa)=2 t=, RBM 的 秩 为 asl, 大 
INAH Big = 2' 
MacWilliams 恒等式 ( 反 向 形式 ) 为 





[ew 


od 





i 
;二 ALK, (i) (3. 6.1) 
# po s 


其 中 ， 
i CFV ENG 
KG@= > 四 $ 
J=OVsti-N |J sip 


其 中 OVs+i—N=max[0, sti—N], sAi=min[s, i], XE, At =1, Ay_,=2!—-1 


2 





Jw C356.) 
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(Vy, PARES GSWRA). 。 所 以 
Az a+ (2 — DK) 


tl 
sA2 i n E a 
= > A4 (2—1) 


j=0V 4 2 
对 于 s=N=2—-1, A HH 1( 如 果 X - 码 字 11…1 EKn MOROMETE). RRA 
出 公式 


Jao» 


et e 4 el 
ao ‘pi 2 2?=—1=—2 
Avi= G+ (2 PS deel sh 


jo 
= 042-1) =1 
= 了 a 


符合 11…1E 4 的 情况 。 T 
问题 3.3 Awo AMR =X +X +1 在 本 ?上 的 一 个 根 ; BH MX) 了 :的 一 个 初始 多 
HA, o H—AMY HH 242131, Fy )-h. HAAR w, w» wo, w 构造 一 个 长 度 为 31， 
设计 距离 为 5 的 二 进 制 狭义 初始 BCH AK., HE w ws ew, wo 各 自 的 分 圆 陪 集 {i， 
21，…，24 1i}。 验 证 w 和 w? 足够 定义 儿 的 零点 ， 并 且 . 儿 的 实际 最 小 距离 等 于 5. 验证 
的 生成 多 项 式 g(X) 为 乘积 
(XP XP 1) (XK XM + XH DD 
XY KPR 4 ea KE EY] 
NBGA AR FA) RHE h BGK Ae aK Bi) — Fu X)D = X AX HX HX HX 十 XX? 十 1 。 验 证 
ulw) =o fo ule’) =o, HA u(X) 应 该 被 解码 为 
BOR = X™ 4X" 4+ ON OX A XO + XP 

并 证 明 c(X) 实 际 上 是 多 中 的 一 个 码 字 。 

我 们 给 出 了 Fs 二 Fi 的 域 表 和 F 上 度数 等 于 5 的 不 可 约 多 项 式 列表 来 辅助 计算 。 

Fy =F} 的 域 表 : 





0 1 2 3 4 5 6 7 
00001 00010 00100 01000 10000 00101 01010 10100 
8 9 10 11 12 13 14 15 


01101 11010 1001 00111 01110 11100 11101 11111 





16 17 18 19 20 21 22 23 
11011 10011 00011 00110 01100 11000 10101 01111 
24 25 26 27 28 29 30 
w |11110 11001 10111 01011 10110 01001 10010 
F 上 度数 等 于 5 的 不 可 约 多 项 式 列表 : 
和 十 15 十 2 +1,X9+X94+X*+X+1, 
XX A KX 41M 二 时 十 区 12 +; 
它们 的 阶 都 为 31。 多 项 式 X HX 十 1 是 初始 的 。 
解答 ”由 于 M(X)==X 十 XX? 十 1 是 [LX] 上 的 一 个 初始 多 项 式 ，M(X) 的 任何 根 o 都 是 一 
个 初始 的 单位 (31， 杷 )- 根 。 此 外 ，M(X) 是 o 的 最 小 多 项 式 。 
要 构造 的 BCH 码 必 是 一 个 度数 最 小 的 生成 多 项 式 ， 根 包含 w，w*，w*，w' 的 循环 码 
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(HE AMRAE w, ws os w 最 小 集合 的 一 个 循环 码 )。 所 以 ，X 的 生成 多 项 式 g (X) 
FE wis Wy 最 小 多 项 式 的 最 小 公 倍 数 。 
w HAYA BRE C={1, 2, 4, 8, 16}; 所 以 
(X — w) (X — a) (X — IX— ) (X — w) = XX 41 
fiw, ws w 的 最 小 多 项 式 ，o: MAB RBA C=(3, 6, 12, 24, 17), œ 的 最 小 多 项 
式 Ms (X) 等 于 
Mp (X) =(X X= MR RoR) 
=X" + lw Hw Hw How +0") Xt + (eo? +o +0” 
+a” +e +0 +0" 十 o8 +0" +0") xX? 
+ (w +0 +07 +0" +0” +0" +0" +0" 
+o + 0°) X? + (wo +0*® +0 +0 +0") X +0” 
=X +X +X +X +1 
上 式 通过 直接 的 域 表 计算 或 查 度 数 E 等 于 5 的 不 可 约 多 项 式 列表 得 到 。 
所 以 ，w 和 w? 足够 定义 多 的 零点 ， 生 成 多 项 式 g(X) 等 于 
X HX HDX 十 和 十 X3 HHX HN) 
| 
如 题 所 要 求 的 一 样 。 换 句 话说 ， 
K= E PEX F o= ela = 0) 
= {c(X) € RIX X” + Isg X)| Xy} 
多 的 秩 等 于 21。 儿 的 最 小 距离 等 于 5， 即 它 的 最 小 设计 距离 。 这 来 自 于 定理 3. 3. 20， 


N 
&N=2—-1, MR 2°< >， | ! | 那么 设计 距离 为 2E 十 1 二 进 制 狭义 初始 BCH 


码 有 最 小 距离 2E 十 1。 
EXE, N=31=2"—1, #/=5, E=2, B 2E+1=5, 并且 


31 X 30 | 31 X 30 X 29 
2 2x3 


所 以 ， 多 纠正 了 两 个 错误 。Berlekamp-Massey 译 码 步骤 要 求 计 算 定 义 零点 处 的 接收 多 项 
式 的 值 ， 从 F;; 的 域 表 中 我 们 得 到 

WO = wo oo +e’ +1= 0° 

ula) = wo How” +0” to Fo +1 = 
所 以 ’ ulw =u Cw)’ o 由 于 ulw) =a" ’ 我 们 知道 在 数位 3 处 有 一 个 错误 发 生 ， 即 ul X) 
码 为 








1024 = 2° << 1+31+ = 4992 





c(X) = X? +X" 4+ X94 X74 X64 X94 X*41 

MERKX HDX). 口 
问题 3. 4 定义 一 个 长 度 为 N， 维 度 为 k&， 字 母 表 为 下 的 线性 LN， 有 ] 码 的 对 偶 儿 二。 证 明 
或 证 伪 如 果 . 允 是 一 个 N 为 奇数 的 二 进 制 LN，(CN 一 1)7/2] 码 ， 那 么 多 上 由 儿 的 一 个 基底 加 
上 码 字 1…1 产生 。 证 明 或 证 伪 如 果 一 个 二 进 制 码 敢 是 自 对 偶 ， 即 恼 二 人 +， 那么 N 为 偶 
数 ， 码 字 1…1 BFL, 

证 明 一 个 二 进 制 自 对 偶 线 性 LN，NV2] 码 . 光 对 于 每 个 偶数 的 N 都 存在 。 相 反 地 ， 证 明 
如 果 一 个 二 进 制 线性 LN，&j] 码 多 是 自 对 偶 的 ， 那 么 R= N/2。 

给 出 一 个 非 二 进 制 线性 自 对 偶 码 的 例子 。 
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解答 CN, REBA MMR Ww 
K = {x= aay E Pixs y= 0H FRAN y CB) 
其 中 xXx。y=ziyi 十 … 十 znyn。 选 取 N=5, R=(N—-1)/2=2. 
Or OY 0 


& 
I 


0 0 
0 0 
0 0 

那么 2 的 生成 矩阵 为 

0 0 0 


0 
1 
KAPZHHMRRARFR- H, RUA. 
现在 选取 一 个 自 对 偶 码 多 王 &L 。 如 果 码 字 1I=1--1EL, WARE xe LWA x 
140, HÆ x. 1=2;=w(x)mod 2。 另 一 方面 ， 忆 zi 一 XY。XY， 所 以 x。x 天 0。 但 是 这 让 
EK, MULIER., BÆRE 1-1=0, 表明 N 为 偶数 。 
现在 令 N= 二 2k， 将 数位 1, +, N 分 解 成 & ATRAZ XT Car, Bids os Carr Bd», 其 
Hape RAGBRRDEEAN, BH 2 的 二 进 制 码 字 x” ，，…，x*”， 其 中 码 字 x 位 
于 (ai， 有 ) 的 数位 非 零 。 然 后 构造 由 xz ，…，x 中 产生 的 LN, k]. 
这 个 码 居 是 自 对 偶 的 。 实 际 上 ， 对 于 所 有 的 i, i, x +x =0, KCK, MRM, 
S yC RXR. MAMFRAM i, yo x 二 0。 这 表明 对 于 所 有 的 i,y 在 (a;，B) 处 有 0 或 非 
FUR, VEK, MUL=2. 
MEBRRK=SK 。N 为 偶数 。 由 秩 零 化 度 定理 可 知 维度 必须 是 ko 
非 二 进 制 自 对 偶 码 是 三 进 制 Golay[L12，6] 码 ， 其 生成 矩阵 为 


© 
ors 
© 
aS e © 





Joe 1 dyd 

O Oo 0. 0 T Oy E Beek 

a= CO 2 00 OU Oe) sae 

OO SIPS 0” WY Dh Olds #2 

OG EO OL I Oo OUR 8 * a) Oe a 

OO) nO SONG. alo UL 从 
这 里 GRAERMN ARAN E. PMURCR-, (Az dim —=dim(Z)=6, HF 
ULE., o 


问题 3.5 定义 一 个 有 9g 个 元 素 的 有 限 域 F,， 证 明 g 的 形式 必 为 g 王 太 ， 其 中 力 为 一 个 素 
数 ，s 宇 1 为 正 整 数 。 验 证 pF, 的 特征 数 。 

证 明 对 于 任何 上 述 的 pp 和 s HAA p 元 素 的 有 限 域 F;， 并且 这 个 域 唯一 同 构 。 

证 明了 非 零 元素 的 集合 Fy 是 循环 群 Zy-1。 

BER 的 域 表 ， 将 一 个 初始 元 素 OCF, HE w' ARAF 上 的 向 量 。 指 出 表 中 所 有 的 
WE ath ta‘ =e, 
解答 ”一 个 域 有 ga 个 元 素 的 F, 是 一 个 势 为 9， 并 有 两 个 符合 分 配 律 的 交换 群 运算 十 和 “。 的 

合 ， 很 容易 验证 char( F) =p £—-TFRR. MUFC, q= $# Fh, =p’. 其 中 s=LF,: 

F, JF, 的 维度 ， 即 一 个 有 p 个 元 素 的 域 F, 上 的 向 量 空间 。 
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现在 , OF), HRA, 的 非 零 元 素 的 乘积 群 ， 包 括 一 个 阶 为 9 一 1 一 井下 的 元 素 。 实 
RE, BOCK, 有 一 个 有 限 的 阶 ord(b) =r); Br =max[r(b): DER ]， 并 固定 
aEF; , HH r@=r. MAMFMA CCK Arb) |r. FX, 选取 y，r(b) 的 质 因 
子 ， 并 写 出 7(5) 二 yw，ro 二 Ya。 让 我 们 验证 s>s. KHL, a” Ha, b BH’, ab” 
RHY a。 所 以 ， 如 果 * 之 *， 我 们 得 到 一 个 阶 大 于 ro WER. MA, s>s 对 于 7(5) 的 任 
何 质 因子 成 立 ， IFA ro) |r(a)。 

然后 对 于 所 有 的 bE Fi AbH =e, MEMA X? —e 能 被 (X 一 b) 整 除 。 所 以 它 必然 为 


乘积 [[(X 一 8) 。 所 以 二 # 卫 =q—-1. MAF 是 生成 矩阵 为 a 的 循环 群 。 


ber? 

对 于 每 个 素数 p 和 正 整 数 s;， 对 于 同 构 而 言 最 多 存在 一 个 域 F,， 其 中 g=p. LHL, 
WEF, 和 EF, 是 两 个 这 样 的 域 ， 那么 它们 对 X' 一 X 的 分 裂 域 (在 上 ， 基 本 域 ) Spl(CX* 一 
X) 同 构 。 

R RXR McKee, Apa =e, He=01, of =—1+20=21, wo =02,.0°=2+o= 





12， 其 中 w=10, Oo 
问题 3. 6 给 出 长 度 为 N， 字 母 表 为 F, 的 一 个 循环 码 的 定义 。 一 个 循环 码 的 定义 零点 是 什 
么 ， 为 什么 它们 总 是 单位 (N，F,)- 根 ?证 明 三 元 Hamming| >=, wos, 3 | 码 等 同 


于 一 个 循环 码 并 且 确 定 这 个 循环 码 的 定义 零点 。 
一 个 发 送 者 使 用 三 元 [13，10，3]Hamming 4, RFAAF={0, 1, 2}, FRR 
EH 形式 为 


Bes rel 2 Oe ae Le 2 eS aire 
OTE. Ole Oy OT 
OO Rie eee) rare eh) e TA dl 


接收 机 接收 到 码 字 x 二 2120110021120。 怎 样 解码 ? 


解答 ”由 于 g(X)|(X* 一 1)，g( 匀 ) 所 有 的 根 是 单位 N 次 根 。 令 gcd(1，g 一 1)= 二 1。 我 们 证 
明 Hamming| T=, 和 一 /| 玛 等 同 于 一 个 循环 码 ， 其 中 定义 零点 m= 二 8"!，p 是 初始 单 
位 (gq' 一 1)/(g 一 1)- 根 。 实 际 上 ， 设 N==(g' 一 1)/(g 一 1)。 分 裂 域 Spl(X* 一 1) = 二 Fy ， 其 中 
r=ordy(q)=min[s: N|(g' 一 1)]。 然 后 由 于 (gq! 一 1)/(g 一 1)|(g' 一 1), r=l, 是 这 样 最 
小 的 宕 。 所 以 ，SplCXN 一 1) 一 了 。 


如 果 BIBER) 上 的 初始 元 素 ， 那 么 o= PT =p RER LAA iN 次 根 。 可 得 
F,X- XB, 的 列 向 量 为 a" 二 e，w，w?，…，w"-! 并 构造 一 个 1XN 的 校 验 矩阵 巨 ; RIK 
望 验证 五 任何 两 个 不 同 的 列 是 线性 独立 的 。 这 个 正好 在 定理 3. 3. 14 中 完成 。 

那么 校 验 和 矩阵 为 HH 的 码 中 ， 距 离 宇 3, 秩 k 宇 N 一 l。N=(g' 一 1)/(g 一 1),，Hamming 
ROE N=(g 一 1)/(g 一 1)) 

da | > | | | (3. 6. 3) 


0<m=<E 2 
表明 d=3, kR=N—/1,. MU, BORA H 的 循环 码 等 同 于 Hamming 码 。 
为 了 解 题目 中 的 码 ， 计 算 校 验 子 xH7 王 202=2。，(101)， 表 明 错 误 在 第 6 位 。 所 以 ， 
x 一 2 e 二 y 十 e  ， 正 确 的 码 字 是 .c= 二 2120120021120，。 口 
问题 3. 7 计算 生成 多 项 式 为 c(X)=X4+X+1, RESTAJ ACK)=X4A+XN4+X+1 


` 


m 
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的 循环 码 的 秩 和 最 小 距离 。 现 在 令 w 为 域 F 上 g(X) 的 一 个 根 。 我 们 接收 到 码 字 r(X) 一 
X°+X°+X(mod X' 一 1)。 验 证 r(w) 二 w:， 并 用 最 小 距离 译 码 来 解 r(X)。 

解答 ”长度 为 N 的 一 个 循环 码 必 有 生成 多 项 式 g(X)€ [LX] 和 奇偶 校 验 多 项 式 h(X)E 
FLX], 其 中 g(X)h(X) 二 X" 一 1。 回 想 如 果 XERA k, B gX) =a ta X++ 
a,X*, a,40, BA g(X), Xg(X), =, Xe (XMM RH—-THE. HHH, & 


的 秩 等 于 N 一 k&。 在 这 个 问题 中 , R=3, rank(®)=4, 349 
WMR AX) =b Ha X+ tbn- X, WAB HTB EE H H 
De 0 -- 0 0 
i De ON hi b = 0 0 
0 0 eve O® hea Onar pe by Bo 
N 
多 的 码 字 在 矩阵 HP ZEAE KA HR. —S REX RR d( 2) 
一 个 码 字 的 最 小 非 零 重量 。 
在 这 个 问题 中 ，N==7， 并且 
To LT Ga 
He 1 Jol G 
CN test Madi Let 








RASA > 没有 重量 为 1 的 码 字 
没有 重复 列 之 没有 重量 为 2 的 码 字 
所 以 ，d(C& ) 王 3。 实 际 上 ， 必 等 同 于 Hamming 原始 [7，4j] 码 。 
由 于 eOCK(XIZADAN, BFVCK=KLXI/(X-DEA v 定义 的 循环 码 . 
RF: 非 零 元 素 的 乘积 循环 群 F* 二 ZY 是 


w =1 


wo =e+e =e at l, 
o =e tw +we=o +1, 
wo =eto=1 
接 下 来 ，r(o) 的 值 为 
rlw) = wto tHo 
=o tlut Ito +e+ D 
=w +w 
= o 
如 要 求 的 那样 。 令 c(X) 二 r(X) 十 Xmod(X’ 一 1)。 那 么 cCo) 王 0， 即 c(X) 是 一 个 码 字 。 
由 于 d(2)=3， 码 是 1 -错误 纠正 码 。 我 们 刚 找到 一 个 码 字 c(X) 与 r(X) 距 离 为 1. 那么 
r(X) 可 写 为 
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c(X) = X+ X*+ X*+ KX mod(X' = 1) 

并 且 在 最 小 距离 译 码 准则 下 用 c(X) 译 人 码 。 回 
问题 3.8 ”如 果 必 是 一 个 线性 EN， 上 | 码 ， 定 义 它 的 重量 枚 举 多 项 式 Wy (s，t)。 证 明 ; 

(a) Woy-(1, 1)=2*, 

(b) Wg (0, 1)=1, 

C) Wag-(1，0) 的 值 为 0 或 1。 

(d) Wels, D=Wgz 0, 9) 当 且 仅 当 Wg (1, 0)=1, 
解答 ”如 果 xE 民 ， 久 的 重量 w(x) 为 w(x) 二 {x;: Xx; 二 1}。 定 义 重量 枚 举 多 项 式 

Wa (s,t) = HAs (3.6. 4) 

SpA =F }{xEL: wa)=j}. MA: 

(a) Wel, DEH rE DQ} = 

(b) We 0, =A =#(OH=1; 由 于 和光 是 子 空间 ，0E.24 。 

O Wa (0, I)=1SAy=1, BP 1l-1E RM, We, 0)=06Ay=0, Bl 11-1 EX 

(d) ADAM Wels, O=Welt, JS>WO, D=W1, >We, 0)=1 Hb). 

PRU, WMH Wel, OV=1, MA 

在 人 有 区 # w(x) = 7} = H{x+lle-l:x € Yow =7} 
= #{y E &:wly) = Nj} 

FHA MFA 7, We, 0)=1 表明 Ayj;=A;. PU, Wels, D=Wg (t, s). LJ 
问题 3.9 ”描述 MacWilliams BFA, CHAT ALR Ee EATA HEFKASAR, it 
WK BA N 二 2' 一 1 的 二 进 制 Hamming 码 .&mii 的 重量 枚 举 多 项 式 等 于 


Wet (z) = ake 人 (3, 6.5) 


解答 〈 只 解答 第 二 部 分 ) 令 A 为 重量 i 的 码 字 的 数目 。 考 虑 奇偶 校 验 矩 阵 吾 的 ;一 1 列 。 
有 三 种 可 能 性 : 

(a) 这 些 列 的 和 为 0。 

Cb) 这 些 列 的 和 是 其 中 一 个 选 好 的 列 。 

(c) 这 些 列 的 和 是 其 中 一 个 剩余 的 列 。 

可 能 (a) 发 生 A;_1 次 ; 可 能 (b) 发 生 iA; 次 ， 因 为 选取 ;一 1 列 的 组 合 可 以 通过 把 任何 重 
量 i 的 码 字 去 掉 其 中 一 个 非 零 成 员 得 到 。 接 下 来 ， 观 察 到 可 能 (b) 发 生 (N 一 (i 一 2))A,， 
次 。 实 际 上 ， 这 种 组 合 可 以 通过 一 个 重量 ;一 2 的 码 字 加 上 剩余 N 一 (i 一 2) 列 的 任何 一 列 得 
到 。 然 而 ， 我 们 有 | Marea 所 以 ， 


~~ 








N 
iA; — | -A = N-i HDA (3: 6. 6) 

y 
如 果 >N EBAY. WR 2 |, ÆR i 求 和 ， 我 们 得 到 一 个 常 微分 方程 
A'l(z)= (T+ z) —A(z) — NzA(z)+ 2 ACz) EANG 

由 于 ACO)=1, TT EY RR 

Aba = WH le + N+ AFN q — zye (3. 6. 8) 
等 同 于 式 (3. 6.5), 口 


问题 3. 10 AVAF 上 长 度 为 N， 秩 为 下 的 一 个 线性 码 。 令 A; 为 重量 为 i 的 码 字 的 数 
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目 ，i 一 0，…，N。 定 义 儿 的 重量 煌 举 多 项 式 为 
WE) = DS) Az’ 


0SiEN 


令 多 -为 儿 的 对 偶 码 。 验 证 





AL — i Sk N t= z 
WRL, = 2 (F) WET) (3. 6. 9) 
(提示 : $B glu) = oe (一 1) 和 "zw , EP w(v) 为 向 量 v 在 .2& 上 的 平均 重量 。) 
veF 
2 
验证 如 果 . 儿 能 纠正 至 少 一 个 错误 ， 那 么 儿 上 的 码 字 平均 重量 为 N/2。 
将 (3.6.9) 应 用 到 Hamming 码 的 枚 举 多 项 式 ， 
Wm ne whi CERS + +2)? GT 三 =) (3, 6, 10) 


以 得 到 极 长 码 的 要 举 多 项 式 : 
WE sisop 52) = DN/ + 2-*(2! —1)/2! x We = 14+ (2! De 
RA —7S+E EE G ARM WAREZ 2 Ee OA ME H 
WAR. MRAB—TLN, kE, V 则 是 一 个 LN，N 一 车 码 ， 其 奇偶 校 验 矩 阵 为 G。 
同样 地 ， 有 -是 一 个 在 朴 EWR SLR, RHEL 


(x,y) = 六 X= L ENa y= yyy 


1<t<N 
由 定义 得 
WED S WC 2 E aO 
ue X vegt} 
根据 提示 ， 考 虑 平均 
gu), 其 中 gw) = 3 (1) en (3. 6. 11) 
# Berar v 


然后 将 (3. 6. 11) 写 成 


‘ems, 3 cp (3. 6. 12) 

v uE X 

RAY ve a’, MD AD" =#2. H-HW, vex, FE um EKE 
“EX 


44 Cuo, v)Æ0Ci lus v)=1), 所 以 ， 如 果 v¢X-, 那么 通过 变量 替换 umutu, {È 
们 得 到 


5 (一 1)” = Ss (— 1) "9" 


“EX “EX 
= (—1)%” So ep? 三 三 D (—1)” 
ue QD uE 
所 以 在 这 种 情况 下 》， (一 1)“” 二 0。 我们 得 到 结论 ，(3. 6. 11) 的 和 等 于 
oe A 
ae D O BD = WZ ,2) (3. 6. 13) 
# A eri 


男 一 方面 ， 对 于 uSu uy, 
ew= dl = J] die? =e 


jy ISIEN ISİN a=0,1 


= it LI CT (3. 6. 14) 


1<i<N 
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在 这 里 ， 当 4 二 0 If wla)=0, 4a=1N wla)=1, 3.6. 1D MAWES 
A= A (142) 
所 以 ，(3. 6. 11) 的 另 一 种 表达 为 











wu) A 1 F Sy 
gg ta Xlir ra ae A er G8.15) 
将 (3. 6.13) 和 (3.6.15) 等 同 得 到 
ee] N ie | 
age (ihe) w (多 ,二 | W(X" ,x) (3. 6. 16) 


于 是 由 于 # 儿 一 2 就 有 了 所 要 求 的 等 式 。 


接 下 来 ， 对 (3. 6. 16) 在 z=1 上 微分 ， 右 边 等 于 
2 iA; (B+) = CH RX CER 上 的 平均 重量 ) 


另 一 方面 ， 左边 我 们 有 


4 (pp DAD ar ato) 
0<i<N "E 


a iani A (R2 RA i= 0,1 时 有 贡献 ) 





m 
=Z NAL = 0( 当 码 至 少 是 1- 错误 纠正 码 ,其 中 距离 之 3) 
=p A (20) = 0( 当 码 至 少 是 1 -错误 纠正 码 ， > 
现在 考虑 到 
CH BX CH BO) = BK OPE = ON 
得 到 等 式 


在 多 + 上 的 平均 重量 一 人 


极 长 码 的 枚 举 多 项 式 由 替代 可 以 得 到 。 在 这 里 ， 平 均 长 度 为 (2 一 1)/2。 回 
问题 3. 11 描述 长 度 为 15， 设 计 距 离 为 5 的 二 进 制 狭 义 BCH 码 ， 并 找到 生成 多 项 式 。 译 
码 100000111000100。 
解答 ” 取 长 度 为 15， 设计 距离 为 5 的 二 进 制 狭义 BCH 码 。 我们 有 SPX? -1) =F 二 Fe。 
我 们 知道 X HAXH 是 在 丙 s 上 的 一 个 初始 多 项 式 。 令 中 为 X' 十 X 十 1 的 一 个 根 。 那 么 
Mi(X) = X*+X+1,M,(X) = X +X +X +X+1 
X 的 生成 多 项 式 g XO H 
| 
取 gC(X) 作 为 一 个 码 字 的 例子 。 引 入 两 个 错误 一 一 在 位 置 4 和 12 一 一 我 们 有 
u(X) = X? 十 Xs 十 X7 十 Xe 十 1 








利用 本 的 域 表 ， 我 们 得 到 
m 二 = o Fo Fw FS 

以 及 

ws = ule) =o +e" +o"%°+1l=e@ ho H= 
由 于 140 AM ui Sw Sw Au, EMS 个 错误 出 现 。 计算 定位 多 项 式 

KX) #1 aX tlu" tHon 

Kl, w ts w RAL), WE w Mo HR, ER MRR 2 个 错误 发 生 它们 的 位 
置 在 4 和 12， 那 么 发 送 码 字 为 100010111000000, 口 
问题 3. 12 ”对 于 一 个 码 字 rSn ER, EE wwo ERREKA: wa) =F (i: 
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rA0}. ME-ARBIN, LIBR, FA 为 重量 为 站 的 码 字 的 数目 (0 委 i 委 N)。 定 义 重 
N 
ERASHAW DL, 2)= 2》) Aiz'。 验证 如 果 我 们 在 错误 概率 为 p 的 二 进 制 对 称 信道 上 用 
2 无 法 检测 到 错误 码 字 的 概率 为 (1 一 p)* (W (多 ， eo). 
解答 ”假设 我 们 发 送 了 零 码 字 0。 那 么 错误 概率 为 
E= J POJAR = 4g Gop = 
xe 2 \0 œl 





a— ps (XA: (25) = ae" (We )-1) o 
问题 3. 13 令 多 为 一 个 二 进 制 线性 [N，&，d] 码 ， 重 量 枚 举 多 项 式 为 Wg (5)。 找 到 下 面 
关于 Wa) HEEKERER, 
O 包含 所 有 重量 为 偶数 的 码 字 xE 多 的 子 码 8 CK. 
Gi) 多 的 奇偶 校 验 扩 展 2 。 
证 明 如 果 d 是 偶数 ， 那 么 存在 一 个 CN， 上，d] 码 使 得 每 个 码 字 重量 为 偶数 。 
解答 O 多 的 所 有 重量 为 偶数 的 码 字 属于 子 码 多 ”。 所 以 ， 


WH(s) = [Was) RY 


(让) 很 显然 ， 多 ”上 的 重量 枚 举 多 项 式 的 所 有 非 零 系数 对 应 2 的 偶数 寡 ， 且 AK ) = 
As; (2) TA C2.» i=l, PAR er 因此 


Ws) = F(A + OW + — DWO s) 


如 果 必 是 二 进 制 [N,，k&, dj] 码 ， 那 么 首先 把 必 截 断 成 多 ， 然 后 取 奇 偶 校 验 扩 展 
(BH )*, KIER k Ad PER d 为 偶数 )， 使 得 所 有 码 字 重量 为 偶数 。 口 
问题 3. 14 ”验证 多 项 式 X HX HXHAHXH 和 XX! 十 了 XK 十 1 在 上 不 可 约 。 这 些 多 项 式 在 
F, 上 是 初始 多 项 式 吗 ? ZAA 2 十 和 十 1，X 十 和 十 1，X 十 X3 十 1 又 是 怎样 的 ? 
解答 由 于 在 X=0 或 X=1 上 X4: 十 X3 十 X2 十 X 十 1 和 XX 十 XX 十 1 都 不 会 趋 近 于 零 ， 所 以 
它们 不 会 被 X 或 X 一 1 整除。 它们 也 不 会 被 X2z 十 X 十 1 整除 ， 是 度数 为 2 的 唯一 不 可 约 多 
项 式 ， 或 者 被 X 十 X 十 1，X 十 X +1 整除， 是 度数 为 3 的 唯一 不 可 约 多 项 式 。 所 以 ， 它 
们 是 不 可 约 的 。 

多 项 式 X 十 X 十 X 十 X 十 1 不 可 能 是 初始 多 项 式 ， 因 为 它 能 整除 X’ 一 1。 让 我 们 验证 
X' 十 X 十 1 是 初始 的 。 选 取 配 [Xj]/(X* 十 X 十 1) 并 利用 开 ORR. SABHA lo, ow’, 
wo, w }( 由 于 w "二 w)。 所 以 初始 多 项 式 M,(X) 为 

(X =o) X-a ESWS o) 
=X*— (wtw +o' How) 
+ (ww + ww! ww Toww toww ww )X’ 
— (ww w + ww w + www Fw w w a+ aw’ wows 
=X*— (wtu +0 +0°) X? + Cow tw +0) X? 
=e" koakte ase Jase =X a ad 
X' 十 X 十 1 的 阶 为 15; 其 他 阶 为 15 的 初始 多 项 式 为 X + XS +1 和 XX 十 XX 十 1。 所 以 , 度 
数 为 4 的 初始 多 项 式 只 能 为 X' 十 X 十 1。 类 似 地 ， 度 数 为 3 的 初始 多 项 式 只 能 为 X 十 和 十 
1，X’ 十 X’ 十 1]， 两 者 的 阶 皆 为 7。 口 


355 


356 


236 RIE 











357 











问题 3. 15 ”假设 用 到 一 个 二 进 制 狭 义 BCH 码 ， 长 度 为 15， 设 计 距 离 为 5， 接 收 到 的 码 字 
AXP THX HXH CHEZ MBH? 如 果 接 次 到 的 码 字 是 X 十 X2 十 和 十 天 十 
X4 十 X 十 1， 错 误 有 多 少 ? 
解答 ”假设 接收 到 的 码 字 为 
PX) = XVX HX TXH 
并 令 o HE 的 一 个 初始 元 素 。 那么 
a= rio =w o a Fag 
= 0111 +0110 + 0011 +0010 +0001 = 0001 = e 
sa = rio) =o" Fy” w? +a +e 
= 0001 +0001 + 1111+ 1000 +0001 = 0110 =w" 
观察 到 s,s Asi: 所 以 有 两 个 错误 。 错 误 定位 多 项 式 为 
0(X) =e+s Xt 635) +59) X? = e+ X4+ ww He =e+X+a"X’ 
验证 它 的 根 ， w =e, ws ws os ws wo, w: NE, w 是 。 然后 相 除 : 
(ol X? +X +e)/(X+e") =e" X tw = a (X+u") 
并 确定 第 二 个 根 : w”。 所 以 ， 错 误 发 生 在 位 置 15—7=8 M 15 一 13 二 2 上。 解码: 

r(X) > XV +X: +X 4X44 K°4+ X41 O 
问题 3. 16 ”证 明 长 度 为 23， 生 成 多 项 式 为 1 十 XX 十 XX AMMAN HAHH" HBAR)DEBES 
7， 并 且 是 完美 的 。( 提 示 : WR gX C/N g(X) HR, BA X®41=(X+ 
Dg g" (X) mod 2.) 
解答 ”首先 ， 验 证 这 个 码 是 BCH， 设 计 长 度 为 5。 由 引 理 3. 1. 5 fresher’s dream 得 到 ， 如 
果 中 是 多 项 式 A(X)E LX] 的 一 个 根 ， 那 么 w thie. as 如 果 w arra 
XHK HX HX AX"! WWA, MWA ws os os Ws w Os ws os ws a's w 
也 是 。 这 产生 了 设计 序列 {w， ws ow, w'}. FA BCH RCE 2. 5. 39 和 定理 3.2.9) 可 知 ， 
由 g&(CX) 产 生 的 循环 码 & 的 距离 这 5 。 

接 下 来 ， 奇偶 校 验 扩展 "是 自 正 交 的 。 为 了 验证 这 点 ,我 们 只 需 验 证 HERE 
阵 的 任何 两 行 都 是 正 交 的 。 这 些 可 由 串 级 码 字 表示 : 
(X'g (X) | 1) w (X'g CX) |D 





它们 的 点 乘 等 于 
1+ (Xig (X))(Xig (X)) 一 1 十 Sei tren, 
=1+ gto. 
=1 + XH 的 系数 在 g(X) X CX) 
A 
Il 
ES x2? 

=1+1=0 

我 们 得 出 结论 


2 上 的 任何 两 个 码 字 都 是 点 乘 正 交 的 。 

接 下 来 ， 观 察 到 ”上 的 所 有 码 字 重 量 都 能 被 4 整除。 实际 上 ， 经 检验 ，& 的 生成 
矩阵 的 所 有 行 C(Xg(X)11) 重 量 都 为 8。 然 后 ， 通 过 归纳 包含 在 和 中 的 列 的 数目 ， 得 到 如 
果 xE21' 并 且 g" 一 (Xig(X)|1) 是 "的 生成 矩阵 的 一 个 行 ， 那 么 


wg? +x) = wg?) + w(x) —2wle A x) (3.6.17 
Epig? Ax),=min[(g”),, 2], J=1, =, 24. RUMI 8 整除 wl(g”)。 此 外 ， 通 过 
归纳 假设 ，4 整除 w(x)。 接 下 来 ， 由 (3.6.17)，w(g® 人 x) 是 偶数 ， 所 以 2wle” A x) fE 
被 4 整除 。 那 么 左边 w(g” 十 x) 能 被 4 eR. 
所 以 ， 统 ”的 距离 为 8， 因 为 它 宇 5 并 被 4 整除。( 很 容易 看 出 它 不 可 能 三 8， 否 则 它 会 
变 成 12.) 原 始 码 和 的 距离 等 于 7。 
码 儿 是 完美 3 -错误 纠正 码 ， 由 于 在 了 2 上 3 - 球 的 容量 等 于 
23 23 23 23 
| |+ | J+ | |+ | |- 1 +23 +253 +1771 = 2048 = 2" 
0 1 2 3 
并 且 
pat x 212 p 923 
这 里 很 显然 ，12 RRR, 23 代表 长 度 。 O 
问题 3. 17 利用 MacWilliams 恒等式 证 明 一 个 距离 为 d 的 g- 进 制 MDS 码 的 重量 分 布 是 








N i 
A;= 2 a 
1 J 0<j<i-d 了 
N (it)... 
=| 1-1) S} CDs lq? dN 
2 0<j<i-d aft 


(EF: 为 了 求解 ， 可 以 

(a) 写 出 标准 的 MacWilliams 恒等式 。 

(b) 交换 多 和 有 多- 。 

(c) BR ses~! 

(d) A s. 

(e) 取 微 分 d/d, OKrk EFA). 
利用 Leibniz 法 则 


<a] = >) " (Sr) (Sec) (3. 6.18) 


oxj<r (J 
利用 d(X)=N—k+1 Fo d(H )k+1, BS RAS An- > An ,的 简化 等 式 。 接 下 
x He Åpner TA Awore 变换 Ys 直到 An.) 
解答 MacWilliams 恒等式 为 


DAs ope AL 9! 1+ @— Ds 
KREME, BRT ERI N. MA rc YOR = H: 
1 N=i Pe 
g ir Ar . . 
> | r Ja H pim 3 C3.6..19) 


(Leibniz 法 则 (3. 6. 18) 在 这 里 用 到 .。) 等 式 (3. 6. 19) 是 起 始点 。 对 于 一 个 MDS 码 ，A。 = 二 At = 
1， 并 且 
A; =0,1<i<N—k(=d-—1), A} =0,1<i<k(=d'—-1) 
然后 ， 


即 
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SANE 
ja. = Jor 1) 
i=N—k+1 r r 
4% r=k, W44 0=0, 4r=k-1, A 
N 
Ånen = ae Cg 1) C3. 6: 20) 


当 r=k—2 WA 

R=] N 

| Jaran + Anne = | le rel) 

k—2 kimi 
等 等 5 这 是 一 个 关于 An-ti? iia AN-, 的 三 角形 方程 组 。 当 改 变 r iY, 我 们 可 以 求 得 
Ay-1+1 Ey) Ay- lo 得 到 的 结果 是 











a= |" ao aa ie (g — 1) 

i 0<j<t-d 
N oe a 

=a) hl Dake dds = all —1) 
1 0<j<i-d Fj 








一 1 
ei By con’ crt] 
1<j<i-dH peak 
N 一 1 
= a=D cl ; jared cic 
1 O<j<i-d J 


事实 上 ， 无 需 计 算 就 可 以 得 到 式 (3. 6.20): 在 秩 为 &， 距离 为 4 的 MDS EH, (ERR 
二 N 一 4 十 1 数字 唯一 地 决定 码 字 。 而 且 ， 对 于 任意 N 一 d 位置 的 选择 ， 在 这 些 位 置 上 存在 
4 个 包含 数位 0 的 码 字 。 其 中 一 个 码 字 为 零 码 字 ， 剩 余 的 g 一 1 个 是 重量 为 4 的 码 字 。 因 此 


N 
Aww A = 口 
问题 3. 18 证 明 Kravchuk 多 项 式 K, (i) 的 下 列 特性 。 
N N 
(a) 对 于 所 有 q: «=| Josam KG. 
1 


(b) 4 q=2: K,(i)=(—1)*K,(N—i), 
(c) & q=2: K,(21)=Ky-, (21), 
解答 ”存在 下 式 


i || (N= 3 
K,G@) = || Jow GDF 
et 


OV GHEA-ND<I<ENE n 


然后 : 
Ca) 下 面 的 简单 方程 是 正确 的 : 


{N N 
«=D | "Reco = (a= Kw 
( 当 交换 ick mt, 所 有 的 被 加 数 都 是 不 敏感 的 ,) 
N 
当 g=2， aria | | o- fy]: Ck) ; 特别 地 ， 


N N 
i 
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(b) 同样 当 g=2 Wt: K, (i) =(—1)*K, (N—i) (48M ice*i 一 1) 后 ， 式 子 同样 是 简 
单 的 ) 。 


N N 
(c) Aut, 4 q=2: | keo- | kw. 并 且 等 于 下 式 


2i 
MaN 
co] 
N—k 
Ky (2i), AIK (21) 口 

问题 3. 19 什么 是 单位 的 (8， 配 ) 根 ? 说 明 单 位 的 (n，FF,) 根 的 集合 刀 ”?” 形成 一 个 循环 群 。 
wRnfeqg 互 质 时 ， HAE 的 阶 等 于 n。 找 出 最 小 的 s， 并 满足 E CE. 

定义 单位 的 原始 (n，W,) 根 。 当 nn 和 g 互 质 时 ， 决 定单 位 的 原始 (n，FF,) 根 的 序号 。 如 
R w 是 单位 原始 的 (n，F,) 根 ， 试 找 出 满足 wE Fy 的 最 小 4。 

找 出 中 能 够 表示 为 取 中 向 量 的 所 有 元 素 代 表 。 找 出 单位 中 所 有 的 (4， 了 酚 ) 根 并 且 是 
F 上 的 向 量 。 
解答 已 知 任意 一 个 次 数 为 2 的 不 可 约 多 项 式 的 任何 根 ， 且 满足 在 域外 二 {0，1，2} 上 ， 
则 根 均 属 于 职 。 取 多 项 式 f(X) 二 X 十 1, 令 它 的 根 表示 为 a (两 者 中 的 任意 一 个 )。 则 瑟 的 
所 有 元 素 可 以 表示 为 ataa 其 中 aso a EK。 事实 上 

Fy = {0,l,a,1+a,2+a,2a,1+ 2a,2 + 2a} 


另 一 个 方法 表示 为 : BAX —1= [| X- 在 域 F, 中 ， 其 中 ¢ 是 单位 的 原始 (8，) 


1<i<8 


根 ， 并 且 可 以 表示 为 循环 多 项 式 形 式 ， 即 X —1=Q (XQ (XQ (XQ (X). EXE 
Q@= [| cz 一 w) Ri, Khe BMG, ROR. +X -1= [] Q(z)。 然 


srgcd(s,n) =1 d:d | 8 
后 计算 
Q(X) =—- 14+ X,Q,(X) = 1+ X,Q,(X) = 14+ X? 
Q(X) = (X* D/O (K)Q, HQC) = C8 — 1) /(X $1) = X* +1 

因为 3 王 1mod8， 根 据 定理 3.1.53, Q(X) 应 该 在 四 上 被 分 解 为 次 数 为 2 的 不 可 约 多 项 式 
$(8)/2=2 的 乘积 。 事 实 上 ， 

Q(X) = (X? +X +2)(X? 十 2X 十 2) 
令 5 表 示 为 X HXH WR, WEAR EKAA 8 HRR. HLERA. Ak, R= 
,00,6, 0,6, 6, 0, @}, Ht=lte. Ra, RNAURIIR: 

t=1+e,0 = 20,0 =1+ 2a% = 2 

E =2+2a, f =a% =2t+aF =1 
Au, KAH RA, Gs Cs CL o 
问题 3. 20 ARF, 上 定义 一 个 长 度 为 N 的 循环 码 。 试 说 明 在 长 度 为 N 的 循环 码 和 多 项 式 
环 F,[X] 中 的 XN 一 e 因子 之 间 存 在 双 射 。 

现在 考虑 二 元 循环 码 。 如 果 N 是 一 个 奇 整 数 ， 我 们 可 以 找到 一 个 杷 的 有 限 扩 展 K， 它 包含 
了 一 个 单位 w 的 第 N 个 原始 根 。 试 说 明 长 度 为 N， 且 存在 定义 域 {o， ws s a) AMR 
最 小 距离 至 少 为 6。 试 说 明 若 N=X—1 且 0 一 3， 则 可 得 到 Hamming 2—1, 2%—1—¢, 3] 码 。 
解答 ”如 果 norne X 同时 意味 着 merri CL, MAB CF,’ WBE. 
根据 推论 3. 3. 3， 可 以 确定 循环 码 和 X* 一 1 的 元 素 是 双 射 。 
在 二 元 码 中 ,为 了 简单 令 N=7, ÆR 中 进行 因 式 分 解 ， 得 到 如 下 因 式 分 解 结果 。 





N 
Ky(N-k) = $ |k», Bp 


i 


362 


363 


240 第 3 章 








X' 一 ] = 二 (X 一 D(X 十 XX 十 D(X 十 XX 十 1): = (XDA KSK) 
假定 w 是 f1(X) 的 根 。 因 为 在 杷 [XI] PAE XD = fi CX), M 
filo = files) =0 
若 存在 定义 根 为 w WBZ, WEMARA TRA 户 (X) ， 检 验 多 项 式 为 (X 一 1) 户 (CX) 王 
X' 十 XX 十 XX 十 1。 这 个 性 质 说 明了 Hamming 原始 码 ( 相 当 于 等 价 ) 的 特性 。 当 w 是 f;(X) 的 
根 时 ， 情 形 是 相似 的 (事实 上 ,仅仅 反 转 每 个 码 字 )。 对 于 一 般 情况 下 的 N=2'—-1, 我们 
取出 原始 元 素 wE Fx ， 和 它 的 最 小 多 项 式 MCX), MW M,(X) 的 根 为 a, ws s ws 
因此 degM,(X) 二 1!。 故 存在 定义 根 为 w 的 码 ， 其 秩 为 N 一 /二 2 一 1 一 :， 就 如 同 Hamming 
[2'—1, 2-1-1] 码 。 oO 
问题 3. 21 写 出 评论 对 比 Hamming 码 和 纠正 两 差错 BCH 码 的 解码 过 程 。 
解答 ”为 了 说 明 构 造 BCH 码 的 思想 ， 我 们 首先 讨论 Hamming H. Hamming[2? —1, 2 — 
/一 1] 码 是 完美 的 纠正 差错 的 码 ， 其 长 度 为 N=2'—1, Hamming 码 的 解码 过 程 表示 如 下 。 
取 字 y= 二 yi…yn，N= 二 2: 一 1， 构 造 校 验 子 s=yH". mR s=0, 利用 y 来 解码 y。 如 果 
sA~0, W s Æ HSH HP, MRE i, Ax. Syte y, Hrpe,=0---010---0 (1 
在 第 i 位 ， 其 他 位 是 0)。 
我 们 可 以 尝试 利用 下 列 想 法 纠正 超过 一 个 差错 (从 二 开始 )。 取 出 奇偶 校 验 矩 阵 的 22 
行 ， 并 表示 为 如 下 形式 
H = H | 6. 219 
sd Os (3. 6. 2 
这 里 通过 交换 Hi 的 列 得 到 Hy IT 是 次 数 为 2' 一 1 的 排列 )。 新 矩阵 五 包含 21 个 线性 独 
立行 : 然后 它 确定 了 [2 一 1，2: 一 1 一 2/] 线性 码 。 校 验 子 是 长 度 为 2 的 字 ( 或 者 是 长 度 为 1 
的 一 对 字 ): yH 二 (ss')。 校 验 子 (s，s')" 可 能 是 ， 也 可 能 不 是 及 的 列 。 我 们 想 要 能 够 纠 
正 两 个 差错 的 新 码 ， 并 且 解 码 过 程 与 Hamming 码 解 码 过 程 相 似 。 假 定 发 生 两 个 差错 ， 即 
y 和 码 字 x AWA, KRA i Mj. WHIP RAH 
yH = (s; Hs; sI; + sI) 
其 中 % 是 表示 H 中 的 第 & 列 的 字 。 我 们 构造 排列 ， 在 知道 向 量 (s; 十 s;，sw 十 sm) 情况 下 ， 
可 以 得 到 i 和 7 (或 者 等 价 于 s;，s;)。 即 我 们 能 够 求解 如 下 等 式 
Si +s; = Z; Sm +sy = x’ (3. 6. 22) 
则 对 于 任意 对 (z，xz')， 最 后 它 可 能 表示 为 存在 两 个 差错 情况 下 的 校 验 子 。 
自然 的 猜想 是 尝试 排列 OT, CAAA, GM, se 二 si s: = C’ OR A E 
择 ) 或 者 sw 二 si s: ss; 二 (s;)*( 好 的 选择 )。 或者， 一 般 情况 下 ，ss =s: si…si(k 次 )。 即 尝试 
对 乘法 取 余 +X"; 但 是 乘法 并 不 能 生成 域 。 因 为 多 项 式 1 十 X” 总 是 可 约 的 。 因 此 , 假 
定 我 们 构造 检验 和 矩阵， 表示 为 








(1…00) (1…00) 
H = 
(1-11) (1-114 
然后 我 们 必须 处 理 下 列 类 型 的 等 式 
sHs =z, stt+st=x! (3. 6. 23) 


为 了 求解 式 (3. 6. 23)， 我 们 需要 了 解 Hamming 空间 的 域 结构 ， 即 不 仅仅 需要 乘法 ， 也 需要 
相 除 。 长 度 为 N 的 Hamming 空间 的 任意 域 结构 与 Ex 是 同 构 的 ， 且 这 种 结构 的 具体 的 实现 是 
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ELXj/《c(X)，， 即 多 项 式 域 对 一 个 次 数 为 N 的 不 可 约 多 项 式 c(X) 取 模 。 这 样 的 多 项 式 总 是 
存在 的 : 它 是 一 个 次 数 为 N 的 本 原 多 项 式 。 事 实 上 ， 公 式 (3. 6. 23) 的 最 简单 一 致 系统 是 

sts’ = z, Hs 一 2 
它 可 以 简化 为 单个 等 式 zsz sH az 三 0， 则 问题 变 成 因 式 分 解 多 项 式 eX*—2X+ 
2’, 

4 N=2'—1, 1 二 4 时， 我 们 可 以 得 到 [15，7，5] 码 。 由 于 互 的 列 线性 独立 ， 则 秩 为 

7， 需 要 验证 码 能 够 纠正 多 达 两 个 差错 。 首 先 假定 我 们 接收 字 yay, HELE i Mj 
上 发 生 了 两 个 差错 ， 且 这 两 个 位 置 是 未 知 的 。 为 了 找到 这 些 位 置 ， 需 要 计算 校 验 子 yH = 
Cz, 2)", BA z, z 是 长 度 为 4 的 字 ; 校 验 子 的 总 长 度 是 8。 注意 到 z 天 zx#: 如 果 z = 
z*， 则 只 有 一 个 错误 发 生 。 写 出 下 列 等 式 

sts = vy = 2 (3. 6. 24) 
Hep s, s 是 长 度 为 4 的 字 ( 或 者 相当 于 它们 的 多 项 式 )， 且 乘法 对 1 十 X 十 X' 取 模 。 当 发 生 两 
个 差错 时 ， 则 式 (3. 6. 24) 只 有 一 对 解 ， 其 中 一 个 向 量 表 示 位 置 i， 另 一 个 向 量 表示 位 置 }， 且 
位 于 和 矩阵 互 的 上 半 部 (Hamming) 列 中 ， 并 且 式 (3. 6. 24) 不 存在 其 他 的 解 ， 这 是 因为 

z = +s"? = (s+s')(s? Hss ts”) = x(x? +55’) 


Bl 
ss = zz! +z’ (3.6.25) [364 
根据 式 (3. 6. 25) AK (3. 6. 24) 中 的 第 一 个 等 式 ， 得 出 s，s' 是 下 列 二 次 等 式 的 根 
X?4+2X+(2'21427) =0 (3. 6. 26) 


(其 中 zz 十 z2 天 0。) 但 是 在 式 (3.6. 26)LHS 多 项 式 不 会 存在 多 于 两 个 的 不 同根 ( 它 只 会 
存在 两 种 情况 : 无 根 或 两 个 相同 根 ， 但 是 因为 假定 有 两 个 错误 ， 所 以 上 述 情况 可 以 被 排 
除 )。 当 存在 一 个 错误 时 ， 可 得 zx =z; 在 这 种 情况 下 s= 是 唯一 的 根 ， 且 字 z 位 于 矩阵 
H 上 半 部 的 列 中 。 

总 结 如 下 ， 在 [15，7] 码 情况 下 ， 解 码 方案 可 以 表示 为 : 根据 接收 的 字 y， 构造 校 验 
FyH =(z, z')", RBA 

(i) 如 果 Zs z ERF, 则 没有 错误 发 生 ， 用 y 自身 解码 。 

Gi) 如 果 240, 2=z', WRE—P2HH. WA Hamming 校 验 矩阵 的 列 中 确定 字 
z， 从 而 可 以 找到 错误 位 置 。 

GD 如 果 z 关 0，x? 关 x'， 构 造 二 次 曲面 (3. 6. 24)， 如 果 存 在 两 个 相 异 根 s，s'， 则 发 
生 两 个 差错 ， 通 过 在 Hamming 校 验 和 矩阵 的 列 中 确定 字 s，s'， 则 可 以 找到 错误 位 置 。 

(iv) 如 果 z 关 0，x; 关 xz'， 且 二 次 曲面 (3. 6. 24) 无 根 ， 或 者 xz<=—0. z2 HO, 判定 至 少 存 
在 三 个 错误 。 

注意 到 当 z< 40, Az’, HZ hA. 6.26) 存 在 一 个 单 根 的 情况 是 不 会 发 生 的 : 
如 果 式 (3. 6. 26) 有 一 个 根 ， 称 为 *， 则 另 一 个 根 8 As, MA z= 二 0 且 只 有 一 个 错误 发 生 。 

在 某 些 情况 下 ， 根 据 解码 过 程 可 知 有 超过 三 个 差错 的 情况 发 生 。 然 而 ， 当 存在 三 个 或 
三 个 以 上 的 差错 时 ， 这 个 解码 过 程 不 可 能 解 出 正确 的 码 字 。 口 [365] 
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在 第 4 章 中 ， 若 同时 考虑 离散 和 连续 类 型 的 概率 分 布 ， 这 对 工作 的 展开 将 是 很 方便 
的 。 因 此 假定 所 考虑 的 概率 分 布 均 是 通过 它们 的 Radon-Nikodym 推导 给 出 ， 并 且 相 应 的 
参考 测度 通常 表示 为 u，v。 参 考 测度 的 规则 可 以 通过 计数 测度 表现 出 来 ， 它 被 离散 集 或 
R 上 的 Lebesgue 测度 所 支持 ; 我们 仅仅 需要 参考 测度 是 局 部 有 限 的 ( 即 有 限 的 值 被 分 配 
到 紧凑 集 )。Radon-Nikodym 推导 结果 将 被 称 为 概率 质量 函数 (PMF): 它 表 示 离 散 情况 的 
概率 和 连续 情况 下 的 概率 密度 函数 (PDF) 。 
信道 容量 理论 的 初步 定义 是 从 第 1 章 ( 见 1.4 节 ) 的 离散 信道 发 展 起 来 的 ， 通 过 采用 下 
列 符合 逻辑 的 方案 ， 对 于 具有 连续 分 布 的 噪声 来 说 信道 容量 的 定义 几乎 没有 改变 : 
基数 M=[ 2" ] 中 的 信息 集合 Z 
一 大 小 为 M 的 码 本 铬 ,其 中 码 字 长 度 为 N 
一 通过 一 个 有 噪 信道 的 可 靠 速率 为 尺 
一 信道 的 容量 
然而 ， 为 了 简化 说 明 ， 我 们 从 现在 起 假定 编码 多 -> 儿 是 一 一 对 应 的 ， 且 通过 码 本 来 确定 
码 字 。 


4.1 Gauss 信道 


这 里 研究 的 信道 具有 连续 分 布 的 噪声 ; 它们 是 通信 中 的 基础 模型 ， 其 中 包含 有 线 和 无 
线 传输 。 这 种 信道 最 常见 的 模型 是 无 记忆 加 性 Gauss 信道 (MAGC)， 但 是 其 他 的 连续 噪声 
模型 同样 很 有 用 。MAGC 的 情况 具有 很 大 吸引 力 ， 这 是 因为 它 可 以 做 一 些 便 利和 更 深 一 
步 的 计算 并 且 可 得 到 简洁 的 答案 。 

然而 ，Gauss( 和 其 他 的 连续 分 布 ) 信 道 提 出 了 一 个 挑战 ， 但 在 第 1 章 考虑 有 限 字 母 表 
的 情况 时 并 没有 讨论 这 种 情况 。 也 就 是 说 ， 因 为 码 字 (或 者 ， 使 用 一 个 稍微 恰当 的 术语 ， 
码 矢 ) 可 以 从 Euclidean 空间 (或 噪声 向 量 ) 中 先 验 取 值 ， 当 引入 功率 限制 后 ， 则 信道 容量 的 
定义 不 得 不 进行 修改 。 更 进一步 说 ， 信 道 容 量 的 取 值 将 会 依赖 于 所 谓 的 局 部 限制 ， 这 会 使 
分 析 变 得 困难 。 在 MAGC 的 情况 下 ，Shannon 给 出 了 求解 方法 ， 但 是 他 花 了 几 年 时 间 使 
他 的 分 析 更 严格 。 

长 度 为 六 的 输入 字 ( 被 设计 在 连续 的 N 个 时 隙 中 利用 信道 ) 可 表示 为 输入 N- 向 量 


CE 








Ty 
我 们 假定 xz;€ R， 因 此 有 x € R" (为 了 使 符号 简短 ， 上 标 (N) 经 常 被 省 略 )。 
在 加 性 信道 中 输入 向 量 x 被 转化 为 随机 向 量 Y'™ = 二 (Yi…Yw)"， 其 中 Y= 二 x 十 Z， 它 的 
分 量 形式 表示 为 
Y,=2,;+Z;, 1<j<n (4.1.1) 
其 中 
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Z= 








ZN 
是 噪声 向 量 ， 并 包含 随机 变量 Z, ，…，ZN 。 因 此 ， 噪 声 可 以 用 联合 PDFS’? (z)>0 描述 ， 
其 中 

zı 


z = 








ZN 
且 总 的 积分 表示 为 | PCz)dzi dzy = 1. N 维 噪声 概率 分 布 利用 积分 形式 定义 ， 这 个 积分 
区 间 定 义 在 关于 Z 的 给 定 集合 上 

PHZ E A) = | f(z) duden, ACR 


例子 4. 1. 1 如 果 对 于 每 个 N， 噪 声 向 量 (2; …Zv) 满足 多 元 正 态 分 布 ， 则 这 个 加 性 信道 
满足 Gauss 分 布 (简称 为 AGC); 可 以 与 PSE 1114 页 相 比较 。 从 现在 起 假定 均值 孔 2,=0。 
已 知 零 均值 的 多 元 正 态 分 布 完全 由 它 的 协 方差 矩阵 所 决定 。 更 确切 地 说 ，AGC 的 联合 
PDF fzo CMRE WMF ÉA 


1 
RECHT SS ER (4, 1. 2) 








这 里 是 一 个 NN XN 的 矩阵 ,假定 矩 阵 是 实 的 、 对 称 的 和 严格 正定 性 的 ， 其 中 元 素 5; = 
E(2;2; ) 表 示 着 噪声 随机 变量 Z, Z WHITH, 1Sj, 7 三 N。( 实 的 严格 正定 性 定义 意 
KAS AA BB” 的 形式 ， 其 中 B 是 一 个 N XN 的 实 的 可 逆 和 矩阵 ; 如 果 5 是 严格 正定 的 ， 
WAN 个 相互 正 交 特 征 向 量 ,， 且 的 所 有 NN 个 特征 向 量 都 大 于 0.) 特 别 地 ， 每 一 个 随 
机 变量 Z, 均 是 正 态 的 ; Z;~NO, o’), EP =B; 与 对 角 元 素 5; 是 相同 的 。( 因 为 严 
格 的 正定 性 ， 故 对 于 所 有 的 j 王 1，…，N， 有 一 之 0)。 

如 果 随 机 变量 Zo, ，2Z: ，… 是 独立 同 分 布 的 ， 则 信道 被 称 为 无 记忆 Gauss(MGC) 或 者 
加 性 Gauss 白 噪 声 信 道 。 在 这 种 情况 下 ， 和 抢 阵 了 是 对 角 和 矩阵 IAS. S)=0, 4i=j 
时 ，28u0。 这 是 重要 的 模型 示例 (在 理论 上 和 实际 中 皆 如 此 )， 因 为 它 采 用 了 一 些 良好 的 
终 值 公式 ， 且 是 进一步 归纳 的 基础 。 

因此 ，MGC 具有 独立 同 分 布 的 噪声 随机 变量 Z,~ NCO, o), E o =VarZ,;=EZ;’. 
对 于 正 态 随机 变量 ， 独 立 相 当 于 去 相关 。 即 当 所 有 je j=l, =, NAGAIM, SR 
E(Z,Z))=0 成 立 ， 意 味 着 噪声 向 量 Zm 的 元 素 Z, eo Z 相互 独立 。 从 (4.1.2) 中 推导 
出 : 如 果 jAj', AAS MAS, =O, WS BMAN., Adets= [] >, ， 式 (4.1.2) 中 


的 联合 PDF 分 解 为 N 个 因子 的 乘积 ， 其 中 因子 表示 Z, 1<j<N 的 独立 PDF. 
zí 
dl (2x3; Tad a) (4.1. 3) 
而 且 ， 在 独立 同 分 布 的 假设 下 ， 存 在 Sc? >0, MIER Z,~NCO, e), H MGC 的 品 
声 分 布 用 参数 o>0 来 表示 。 更 准确 地 来 说 ， 式 (4. 1 3) 中 的 联合 PDF 可 以 重 写 为 


1 N 
(Jaze) e*0(- 337,22!) 
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当 给 出 一 个 无 限 随机 序列 ZY 二 {Zi1，2Z,，…)， 且 上 述 的 噪声 向 量 Z'Y 是 由 这 个 序列 的 
最 初 N 个 元 素 组 成 。 在 Gauss 分 布 的 情况 下 ，2ZY 被 称 为 随机 Gauss 过 程 ; 当 EZ;=0, 
这 个 过 程 同 样 由 它 的 协 方差 3 所 决定 ， 其 中 3; =Cov(Z;, Z) =E(Z,Z;). Rik “A 
Gauss 噪声 ”将 这 个 模型 同 更 一 般 的 有 色 噪 声 信道 模型 区 别 开 来 ， 具 体 情 况 如 下 。 

利用 在 离散 情况 下 采用 的 模式 分 析 具 有 连续 分 布 噪声 的 信道 : 特别 地 ， 如 果 信 道 被 用 
来 传递 M 一 2 人 ，R<1 中 的 一 个 编码 信息 ， 我 们 需要 一 个 码 本 ， 这 个 码 本 由 M 个 长 度 为 
N 的 码 字 组 成 : xzT G)=—(2, G), s xyG)), 1<i<M: 

z (1) x,(M) 
: (4.1.4) 


97°? 5 


Bun = (x 1), +, x (M)} -| 














XN(1) xn (M) 


当然 ， 假 定 发 送 者 和 接收 者 都 知道 码 本 。 发 送 速 率 R 表示 为 


_ log,M 
R= cm C4, 15) 
aii) +Z, 
假定 发 送 码 矢 x(i)。 利 用 选 定 的 译 码 器 解码 接收 的 随机 向 量 Y(=Y Ci) ) = ; 
zn (i) +Zn 








即 d:yrmdCDE&wn。 从 几何 学 上 来 说 ， 译 码 器 根据 确定 的 距离 ( 随 着 译 码 器 不 同 而 改 
变 ) 寻 找 最 近 的 码 字 x(k); 例如 ， 如 果 我 们 选择 使 用 欧 几 里 得 距离 ， 通 过 使 平方 和 最 小 译 
码 疝 量 了 : 

dV) = arg min| J) (YG) —2,(D) xX) € Bus | (4. 1.6) 


1<j<N 


当 dy7) 天 x(DD 时 ， 就 发 生 了 一 个 差错 。 幸 运 的 是 ， 译 码 器 的 选择 是 建立 在 最 大 似 然 准则 的 
基础 上 的 ， 推 导 如 下 。 
这 里 有 一 个 额外 的 微妙 之 处 : 假定 对 于 一 个 输入 的 字 x， 如 果 有 成 功 译 码 的 机 会 ， 那 
它 应 该 是 属于 RY 中 的 确定 可 传输 的 域 。 例 如 ， 在 MAGC 的 情况 下 ， 利 用 功率 限制 
1 2 
SIRET ee ar) 


其 中 a>0 是 一 个 给 定 的 常量 。 在 无 线 传输 的 情形 下 ，N 长 的 输入 向 量 中 每 个 信号 振幅 平 
方 功率 都 应 该 被 约束 ， 否 则 传输 的 结果 被 认为 “不 可 译 码 ”。 从 几何 上 说 ， 为 了 能 够 进 
行 译 码 ， 码 本 中 的 输入 码 字 x( 站 必须 位 于 中 心 在 OC RY, KIL r= VaN 的 Euclidean 球 
By (VaN) h; 

2 


B (r) = : = 








TN 
下 标 bs 强调， 拥有 标准 Euclidean 距离 的 RY 被 认为 是 一 个 Hilbert, -空间 。 

事实 上 ， 并 没有 要 求 整个 码 本 & wx 都 位 于 可 译 码 域 中 ; 如 果 一 个 码 字 x) AE n IF 
码 域 中 ， 则 译 码 错误 概率 为 1。 形象 地 说 ， 即 要 求 大 部 分 码 字 ， 而 不 是 所 有 的 码 字 都 必须 
都 位 于 BY (Na)? WA 4-1, 

存在 局 部 限制 (4. 1.7) 的 原因 是 使 空间 中 的 码 字 相互 之 间 有 较 大 的 距离 ， 最 终 每 一 个 
传输 速率 都 会 变 得 稳定 。( 这 意味 着 信道 的 容量 是 无 限 的 ; 尽管 这 样 的 信道 不 能 立即 被 排 
除 ， 但 在 AGC 的 情形 下 ， 无 限 容量 的 情形 看 起 来 是 不 切实 际 的 .) 
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输入 信号 在 域外 时 输入 符号 在 域内 时 
发 生 的 解码 错误 可 能 的 正确 解码 





4-1 


典型 的 情况 是 可 译 码 域 DO ERY 被 RR” 中 的 一 个 球 所 表示 ， 这 个 球 以 原点 为 球 心 ， 且 
与 RV 中 的 特定 的 距离 有 关 。 也 就 是 说 ， 存 在 指数 分 布 噪声 的 情况 下 ， 很 自然 地 选择 


rey aicn 


Tı 


1<j<N 


D = BY (Na) = 4 








XN 
即 以 & 度量 的 球 。 当 输出 信号 向 量 距 离 码 字 的 距离 在 7 以内， 这 个 向 量 就 可 以 被 这 个 码 字 
译 码 ， 如 果 有 (如 果 输 出 信号 精确 地 落 在 码 字 的 一 定 范围 内 ，(ii) 这 个 码 字 可 能 位 于 D™ 
中 ，(i) 这 个 特定 的 码 字 被 发 送 了 ， 即 可 说 解码 是 正确 的 。 当 超过 一 个 码 字 落 在 这 个 范围 
内 ， 可 能 会 解码 错误 。 
在 离散 的 情况 下 ， 长 度 为 N 的 接收 向 量 的 (条 件 ) 概 率 分 布 可 以 表示 更 通用 的 信道 。 
假定 发 送 输入 字 x ERY: 
PE Cog) = PY? || Bx PRY, FC RY (4. 1. 8) 


同样 N 王 1，2，… 意 味 着 被 用 来 传送 的 信道 时 隙 数目 ， 且 将 会 考虑 极限 情况 Noo, (BE 


PG? C+ |x eh PME SY Cy |x ) 决 定 ， 这 个 PMP 与 RY 中 国定 测量 ww 有 关 ， 


有 PE Abc) =| Em Ce NEP ds Cy (4, 1. 9a) 
A 
存在 一 个 典型 的 假设 ， 即 v 站 是 下 式 的 乘积 测度 
vv =v XvN XR) (4. 1. 9b) 


Plan, vo” wy ee RY 上 的 Lebesgue WE, EH R E Lebesgue 测度 的 乘积 : dx = 
dziX…Xdzxn。 在 离散 情况 下 ， 数 字 r 表示 输入 信道 字母 表 ( 即 在 二 元 情况 下 ， 好 = 
{0，1)) 中 的 字母 ,，v 是 gy 上 的 计数 测度 ， 将 重量 1 分 配 到 字母 表 中 每 个 符号 。vm 是 在 
4” 上 的 计数 测度 ， 其 中 oy” 表示 所 有 长 度 为 N 的 输入 字 ， 且 每 个 字 被 分 配 重 量 1。 
假定 乘积 形式 的 参考 测度 为 v (4.1. 9b)， 我 们 利用 乘积 形式 PMES Cy | x 8 
示 无 记忆 信道 : 
payed = FaGs lap , (4. 1.10) 
1<j<N 


在 这 里 fa(y|z) 表 示 符 号 对 符号 信道 的 PMF， 它 描述 了 信道 单个 使 用 时 的 影响 。 对 于 
MGC, fa(y|2) THIER A N(x, P), BD fa(y|2) Ra BELA Y=2+Z 的 PDF, 
其 中 Z~N(O, DORREA Ye AME z BY ER 
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接 下 来 我 们 考虑 码 本 避 wn， 它 是 一 对 一 映射 乡 一 RY 的 描述 ;其 中 红 是 有 限 的 消息 集 
合 ( 最 初 以 消息 符号 集 的 形式 表现 ); 与 (4. 1. 4) 比较 。 在 离散 情况 时 ，ML 译 码 器 dui 通过 
(E x=x™ EZ un PA LL (y|x) 最 大 化 来 译 码 接收 到 的 字 Y==y™ : 
dun Cy) = argmax[ f (yla Jex € Dun | Cay eae) 
当 最 大 值 不 唯一 时 就 认为 发 生 了 一 个 差错 。 
另 一 个 有 用 的 例子 是 联合 典型 性 (JT) 译 码 器 dr=d P QP Rm): 它 寻 找 码 字 x, 
使 得 x，y 同时 位 于 e- 典 型 集合 TY 中 : 
dro) =x 如 果 x E Bun Bay) © TY (4. 1. 12) 
通过 集合 TY 的 特定 形式 设计 IT EGE, AREER HBB 2a. AFA 
AY a HH ety” MBZ uno ERE dir (y) © Bon Al HEAR SEE — EA RH HB ARR AE 
义 )， 这 会 再 次 引起 一 个 差错 。 通 用 译 码 器 应 该 解释 为 定义 在 集合 KY CRY 上 的 一 对 一 映 
Hi, MERY KY WARMA rEZ uns 在 集合 K” 外 可 能 没有 被 正确 定义 。 可 译 码 
KY 2A dV 参数 的 一 部 分 。 在 任何 情况 下 ， 希望 能 够 得 到 
PY (d™ (Y) Axl|x RR) = PY YW ¢ K™ |x R¥) 
+PP (Y € KY dV) Ax|lx 发 送 ) 一 0 
其 中 N>, Æ MGC WRF, SERB un, AG. 1.6) PSI ML 译 码 器 几 
PHE RY 中 任何 位 置 都 被 唯一 定义 (但 是 不 需要 知道 具体 是 如 何 定 义 的 ) 。 
WA EMEN E DY CRY, Hx DD 时 ,传输 的 结果 被 认为 是 不 可 译 的 (无 
需 考虑 使 用 的 译 码 器 质量 )。 当 使 用 码 本 多 vw 和 译 码 器 A 时 ， 则 平均 错误 概率 被 定义 为 


E" CE nir dD ed) =F set a, D™) (4, 1, 18a) 


IEX M,N 
其 中 最 大 错误 概率 定义 为 
ered) Dy = maxes; a, DEY. ce View (4. 1. 13b) 
当 码 字 x Beem. e(x, dY, D™” ) 表 示 错 误 概率 ， 
(N) (e pie Ae 1, x€ bp” 
eCxsd DY) = fate DrD xe D™ (4. 1. 14) 
在 (4.1. 14) 中 ， 码 本 多 wx 中 的 码 字 顺 序 无 关 紧 要 ; 因此 .& ws 被 简单 地 认为 是 Euclidean 
空间 RY 中 M 个 点 的 集合 。 从 几何 上 说 ,希望 Www 中 的 点 能 够 被 放置 在 合适 的 位 置 ， 即 
位 于 域 DY 中， 从 而 使 得 到 正确 ML- 译 码 的 概率 最 大 (这 又 会 引起 球 -布局 问题 ) 。 
最 后 假设 数字 R>O 是 固定 的 ， 码 本 .2 的 大 小 是 : M=「 2], 4 N->co 时 ， 我 们 想 
定义 可 靠 传输 速率 ， 这 和 在 1.4 节 中 工作 有 点 相似 。 
定义 4.1.2 如 果 存 在 码 本 ww ER" FAL un) MEG I” MERU}, RR 
且 M=[2**], WE R>O 为 可 靠 传 输 速率 ， 其 中 存在 区 域 约束 DY. A 
lime" (Z mns EBD = G4.. 16) 
备注 4. 1.3 ”从 平均 错误 概率 ev (CUww，d2 ， 了 Dm) 这 个 角度 看 ， 对 于 最 大 错误 概率 
Zun dY, D™ ) 来 说 很 容易 验证 传输 速率 R 是 可 靠 的 。 事 实 上 ， 从 定义 4.1.2 fH 
度 看 ， 即 从 平均 错误 概率 意义 上 看 ， 假 定 R 是 可 靠 的 。 取 相应 码 本 的 序列 {ww)}， 其 中 
M=「 2 科 1]， 和 相应 译 码 规则 序列 {dx}。 将 每 个 码 多 TRAM, BY MA. 并且 根 
据 译 码 错误 的 概率 将 这 些 码 字 以 非 递 减 顺 序 排列 ， 将 最 初 MO =| M/2 FUEL 
H, WF M? MMO 个 码 字 放 在 YN Pe WAFFE (Xun FIA : 
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G) 4 Nee 且 
NlogM™ > R+0(N7) 
信息 速率 的 值 超 近 于 R. 
Ci) 当 利用 译 码 规则 dy 时 ， op 
PIEN sn) <HO , 2P 人 < ape (从 NdN) 


因为 M/M” <2, 4 N->coe 时 ，RHS 趋 于 0。 推 测 出 对 于 最 大 错误 概率 来 说 尺 是 可 靠 传输 
速率 。 反 过 来 说 ， 在 最 大 错误 概率 意义 上 的 可 靠 传输 速率 R 在 平均 错误 概率 意义 上 同样 也 
是 可 靠 的 ， 可 以 很 明显 得 到 这 个 结论 。 

可 知 信道 的 容量 是 可 靠 传 输 速率 的 上 确 界 : 

C= sup[R > 0:R 是 可 靠 的 ] (4, 1. 16) 

且 不 同 信道 的 容量 是 不 同 ， 并 随 着 约束 域 的 形状 而 变化 。 

当 ( 与 下 面 定 理 4. 1.9 相 比 ) 存 在 平均 功率 限制 门限 时， 对 于 MGC 来 说 ， 信 道 容 量 
Cla, 中 ) 可 表示 为 如 下 简洁 形式 : 


2 ey 2 
Cla) = 5 log: (1+) (4.1.17) 


mA, F 1. 4 节 中 类 似 ， 若 存在 随机 编码 序列 ， 其 中 码 字 xS X Gi), e+, KGP 
的 元 素 满足 独立 同 分 布 ， 即 X; (i) 一 N(0, a~e), j=l, +, N, i=l, =, M, AY 
N 一 co 时 sw-~>0， 此 时 可 以 达到 容量 Ca, P), 但 是 对 于 有 限 N 来 说 ,这样 的 随机 编码 形 
式 上 不 满足 约束 条 件 (4.1.7)， 当 N 一 co 时 它 违 反 了 消失 概率 (因为 存在 适当 的 ey 时 ， 


lim supw-=P(max| xy 2 X, (i)? 1<i<M]<a)= 1)。 因 此 ,可知 平均 错误 概率 


i< 


(4.1. 13a) ÉF 0( 当 然 对 于 随机 编码 来 说 ,错误 概率 本 身 也 是 随机 的 )。 | 
例子 4. 1.4 接 下 来 我 们 讨论 存在 有 色 Gauss 噪声 的 AGC 例子 。 令 码 向 量 r=, s 
XN) 含有 多 维 元 素 














且 噪 声 向 量 
z 
z=: 
Zy 
的 分 量 Z; 同样 是 维度 为 & 的 随机 向 量 : 
Zi 
Z= 
Zs 








例如 ，Z,，…，Zw WAEI ANO, 3) (&- 变 量 正 态 分 布 )， 其 中 三 是 已 知 的 EX 
协 方差 矩阵 。 

当 并 行使 用 由 个 标量 Gauss 信道 组 成 的 系统 时 ， 则 存在 有 色 的 模型 。 标 量 信号 zi 
通过 信道 1 被 发 送出 去 ，zijz 通 过 信道 2 被 发 送出 去 ， 以 此 类 推 。 假 设 在 每 个 应 用 中 标量 信 
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道 联合 生成 Gauss 噪声 ; 不 同 的 信道 可 能 是 独立 的 (矩阵 卫 是 &XR& 对 角 和 矩阵 )， 或 者 是 非 
独立 的 (矩阵 也是 一 般 的 &XR 正定 矩阵 ) 。 
仍然 存在 一 个 码 本 ， 它 是 一 个 (有 序 或 无 序 ) 的 集合 Usv={x(1)，…，x(CM))， 其 中 


每 个 码 字 x( 让 是 一 个 多 重 向 量 (z1(i)，*…*， XN(2D))TERYN; =R'X XR. QIRX 
k EEEH, HX: QZ=3Q。 则 功率 限制 表示 为 
$ RS (4. 1. 18) 


毫 无 疑问 ， 存 在 有 色 噪 声 的 AGC 的 容量 计算 公式 更 复杂 。 因 为 存在 SQ—QS, WE 
ESAO 可 能 同时 被 对 角 化 。 令 1，y i=l, e 大 分 别 为 号 和 Q 的 特征 值 (对 应 于 相 
同 的 特征 向 量 ) 。 则 有 

CQD = > 5 loge (1 + Ave) (4. 1. 19) 


其 中 (vy7 一 和 A)+ 二 max(vyY7 — à 0). Bl Coy, '—A,) 4 eH UQ T E) REE, H. 
此 和 矩阵 表示 Hermitian 矩阵 vQ ' 一 3 的 正定 部 分 。 当 存在 

好 [CT 一 QZ =a (4. 1. 20) 
v=v(a)>0 成 立 。 

根据 下 式 定 义 正定 部 分 (v1 一 Q3) + 

(ol — QS), = I QSDI 
其 中 工 ; 是 子 空间 中 的 正 射 投影 (在 R 中 )， 此 子 空间 是 由 特征 值 为 yi 二 v WK QS 
的 特征 向 量 所 张 成 。 在 式 (4,1.20) 中 tr[(Co 一 Qz)，] 三 0( 因 为 对 于 所 有 的 正定 矩阵 有 
trAB>0), 4 v=0 时 上 式 等 于 0( 因 为 (一 Q3): ==0) 且 随 着 v 单 调 递增 会 增 至 十 oO。 因 此 
对 于 任何 已 知 a>0, (4. 1. 20) 唯 一 确定 v= 二 v(a) 的 值 。 

尽管 式 (4. 1. 19) 看 起 来 比 式 (4. 1.17) 更 复杂 ， 但 这 两 个 式 子 都 是 下 列 两 个 事实 的 推 
论 : (容量 可 以 被 定义 为 (随机 ) 输 入 和 输出 信号 之 间 的 最 大 互信 息 粹 ， 如 同 在 离散 情况 
下 的 定义 (比较 1.3 节 和 1.4 节 )，(i) 若 存在 Gauss 噪声 (白色 或 有 色 )， 当 输入 信号 本 身 
是 Gauss 分 布 且 它 的 协 方差 能 够 解决 辅助 优化 问题 ， 这 时 可 以 获得 互信 息 。 当 在 
式 (4. 1.17) 情 况 下 这 个 优化 问题 相当 简单 ， 但 是 在 式 (4. 1. 19) 情 况 下 则 变 得 更 复杂 (但 是 
仍然 易 懂 ) 。 

当 随 机 编码 达到 容量 Cla; Q; 8) 时 ， 需 要 满足 下 列 条 件 : 信号 XG), ISjS<N, 
i=l, =, M 是 独立 同 分 布 且 满 足 X;(i) 一 N(0，A 一 ew1)， 其 中 A 是 Xk 正定 和 矩阵， 并 
使 行列 式 det(4 十 了) 最 大 且 满 足 约束 条 件 trQ4 =a; 这 样 的 矩阵 满足 形式 (vQ ' 一 5); 。 为 
了 计算 各 种 模型 的 容量 ， 随 机 编码 提供 了 一 个 方便 的 工具 。 我 们 将 在 举例 中 继续 讨论 多 种 
类 似 的 模型 。 

与 具有 连续 分 布 噪声 的 信道 不 同 ， 在 恰当 的 时 候 信 息 炉 应 该 被 微分 炉 替代 。 已 知 15 
中 介绍 的 微分 箭 的 内 容 。 已 知 随机 变量 X，Y， 存 在 与 参考 测量 Xv、 边缘 PMFfx (zx) = 
| fev EDAD M fry) = [far auda) 相关 的 联合 PMFfx.y(z,y) ,其 中 互信 息 表 
rk 
fx O fy) 


pA fx »y) 
3 | 产 rr)log Pr Gey Ey 


I(X:Y)= Elog 
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MX Y 被 随机 向 量 X=(Xi， 29g Xn) 和 Y=(Y'， a | YNw )( 甚 至 可 以 是 例子 4.1.4 中 的 
ZB, BX, MY, 本 身 也 是 向 量 ) 替 换 时 ， 存 在 相似 的 互信 息 定义 : 


(CN yN y 一 fem yor (XM? YO) 
TOR py) _ ba e 


其 中 fx (xm DAM fro Cy ) 分 别 是 XW ，Y 的 边缘 PMF( 即 向 量 元 素 的 联合 PMF)。 
特别 地 ， 如 果 N=N’, XY Rapala, MWY" =X +Z 表示 相应 的 信道 随机 
输出 ， 与 式 (4. 1. 14) 相 比 ，( 随 机 ) 错 误 概率 表示 为 : 
1, xm ¢ p™ 
PY (dug YO) AM | x™)), xVE D™ 


(4. 1. 21a) 


E(x™ ,p™) = 


此 时 期 望 值 表示 为 

E(Px ;D™) = ELECX™ ,D™ )] (4. 1. 21b) 
给 定 s 之 0， 根 据 输入 概率 分 布 Pxw ， 其 中 BCPxm ,四 ”) 入 s， 可 以 定义 每 个 信号 互信 息 的 
上 确 界 ( 即 每 个 信道 都 只 应 用 一 次 ): 


Con= F supl I(x so N EP i jad 422) 
Q= lim sup Gn C= lim inf C, (A183) 
woo e>0 


需要 强调 的 是 式 (4. 1. 22) 中 的 上 确 界 是 根据 输入 字 X' 所 有 概率 分 布 Pxw 求 得 ， 无 论 这 
些 分 布 是 离散 ， 连 续 或 混合 的 (包含 离散 与 连续 )， 输 入 字 XX ”的 平均 错误 概率 应 三 e。 这 
使 得 对 Cn,. 正 确 求 值 变 得 相当 困难 。 然 而 ,极限 值 C 在 一 些 重要 的 例子 中 更 易于 求解 。 
我 们 现在 需要 证 明 Shannon 第 二 编码 定理 的 相反 部 分 : 

定理 4.1.5 (比较 定理 1.4.14 和 2.2.10) 考 虑 这 样 一 个 信道 ， 已 知 随 机 输出 字 Y" 的 概率 
Sy At FRPP a+ |x Rik) RF Fo | AIR DY, MAREA C4. 1. 22) fo X (4.1. 23049 2) 09 
CRESHLE, P 

OF © (4. 1. 24) 
证 明 令 尽 表示 可 靠 传输 速率 ， {六 mn} 是 码 本 序列 ， 其 中 M=#B2un~2™, Awe 
lime" (Z m.n? D™~)=0, 考虑 (xz， dm (y)), 其 中 (CDx= 王 xz 是 随机 输入 字 并 且 在 & vn P 


WEA. GY=Y" 是 接收 的 字 ，(iiiD dm.(y) 是 经 过 传输 后 ， 利 用 ML 检测 准则 
dw 译 出 的 码 字 。 字 x 和 dwm(Y) 在 &wwx 中 联合 运行 ， 即 离散 类 型 的 联合 分 布 。 然 后 利用 
广义 Fano 不 等 式 (1. 2. 23) ， 可 得 

his (X |d Y))<1+log(M—1) >) P(x = xdm (Y) # x) 


EZ yn 


<1+ TES) Paldum Y) Axle 发送 ) 
rE Ryn 
= 1+ NRe™ (un + D™): = Non 
Hepp Noo, Wf Oy>0, HEP REA hACXY)=logM, A NR—-1<ACX%), Ak 
可 得 
pee Se. 


Ls (N) CN) CN) (N) 
Nl Aa :d(Y D) + Sh (XG jar) 


ł 


HA SH APY) HOn 


376 


378 


379 
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WHERAEMH e>0, YN 充分 大 时 ,平均 错误 概率 满足 (Run, DY )<e. At, 
当 N 充分 大 时 ，R 和 受 C.w。( 因 为 存在 码 本 .&wNw 上 且 人 (和 ww， 了 闪 )， 根 据 此 码 本 均匀 分 布 
能 够 得 到 输入 分 布 为 Peo BEP, DY) Se BIT.) Ak, SFA A e>0, 4 R<C, 
时 ， 意 味 着 传输 速率 RC。 因此， 可 证 得 C<C, 口 
在 很 多 有 趣 的 情形 下 ， 式 (4. 1. 24) 中 的 界 CC 会 变 得 精确 ( 即 C==C)。 而 且 ，C 的 表 
达 式 在 一 些 情况 下 会 简化 。 例 如 ， 对 于 MAGC 来 说 ， 无 需 通 过 改变 N 使 互信 息 T(X™. 
Y™ ) 最 大 ， 但 是 当 T 工 X: 了 ) 是 满足 适当 约束 的 单 输入 输出 信号 之 间 的 互信 息 时 ,使 
IX: Y) 最 大 化 变 得 可 能 。 即 对 于 MAGC 存在 
C= C= sup[I(X:Y) EX? <a] (4. 1. 25a) 
在 平方 功率 限制 w F, 值 supLI(X: Y): EX’ Sa li MHA MAGC 的 信息 容量 。 而 且 
对 于 一 般 的 AGC, FE 
C= T= lim Nsup[ ram :Yem ) T 3) BX? < a] (4. 1. 25b) 


1<j<N 


例子 4.1.6 当 存 在 平均 功率 约束 时 ( 即 Do =B (Na) (与 例子 4.1.1 相 比 ;， 即 
式 (4. 1. 25b)RHS 有 界 ， 我 们 需要 估算 MAGC HAE Cla, d), HH MAGC 包含 方差 为 
o 的 加 性 白 Gauss 噪声 。 
已 知 输入 分 布 Px ， 可 以 得 到 
TCE? Y¥™)= hY) S hcy™ Awy pe hy += A(Z% 


L CY RSE CY TAD Cd 6 
1<j<N 1<j<N 
单 输入 随机 变量 X; 6) — BMRA a? = EX}, JEP X, 是 随机 输入 向 量 Xew 的 第 7 项 。 相 
应 的 随机 输出 变量 Y; 满足 
EY? = EX; HZ) = BX? +2EX,Z,+EZ? =a ho 
其 中 X MZ, 相互 独立 且 EZ,=0. 
在 Gauss 信道 情况 下 ，Y 具有 连续 分 布 (利用 卷 积 [fe Ge 一 y)dFx (zx) 可 得 
PDF fy, (y) JEP $; 是 ~ N(O,0°) 的 PDF)。 因 此 在 式 (4. 1. 26) 中 得 到 的 焙 ( 同 样 表现 在 
式 (4.1. 25a,b) 中 ) EMIR. AI PDF 为 fy, 的 随机 变量 Yj ,在 EY; <a to 条 件 下 ,最 


大 微分 炉 表 示 为 h(Y,) < 也 log:[2xe(o 十 必 )]。 事 实 上 利用 Gibbs 可 得 
h(Y,)=— | fr, O) lowe fr, (9) dy 
<- [Ar O) low ba} + oC)dy 


2 2 loge i 
log: [2r (a? +o )] “4 2a? a? JEY; 


j= mle 


< = log:[2rela; +o’) ] 


因此 有 
1(X;:Y;)= h(Y;) —h(Z;) < log, [2xe(a? +6’) ] — log, (2reo) 


2 
> Os 
= log (1+ % ) 
4 AMY Y;~NCO, a} to" Wt ese WLI. 
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利用 大 数 定理 ,根据 式 (4.1.25b) 中 的 界 DEX? = aa < Na 可 


得 
1<j<N 
lim Px (B® (VNa))=1. 而 且 ， 对 于 任意 的 输入 概率 分 布 pai EX} <a}, 1<Sj< 
N， 可 以 得 到 


who Y~ 二 去 J log, (Te L) 


N Gen 


将 Jensen 不 等 式 应 EE ‘pees ， 则 有 


ak Slow: (1+ 4 ij<t ; log: (1+ 5 “4 ) 


1<j<N 1<jxnO 


< Flog, (1+5) 
因此 在 这 个 例子 中 ， 式 (4. 1. 25b) 的 RHS， 即 信息 容量 C 满足 
C <= log (1+ 4) (4. 1. 27) 


在 证 明定 理 4. 1. 8 之 后 ， 可 以 在 式 (4. 1. 17) 中 证 明 容量 C(c，o) 等 于 RHS。 
例子 4.1.7 对 于 有 色 Gauss 噪声 ， 式 (4. 1. 26) 的 界 可 以 重 写 为 ; 
KAVY MD < >) [Acy,) LCZ,)] 
其 中 利用 了 输入 和 输出 信号 X, Y, 47, LPO AB 
2 = ECX QR EXY,,QY,) =a? 十 tr(Qz) ,和 六 
N; Sén 
在 计算 中 同样 利用 了 下 列 事实 : BMX, Z 相互 独立 ， 且 期 望 值 满 足 EZ; =0. 
在 标量 的 情况 下 ， Ha, Y™ BAMA hY) — hZ), HH Z~NO, 3) 是 


AGMA, SY=X+ZEATWIEAA AH, FERRER A PRE RK. 
得 出 : 


Hram Y¥™) Aa, QT) = RCZ) 
其 中 K 是 信号 的 协 方差 矩阵 ， 且 
a Se Fmax{log[ (2n)*edet(K + 3)]: 


K kXk 的 正定 矩阵 满足 tr(QK) <a} 
将 王 写 成 对 角形 式 了 = 二 CAC”"， 其 中 C 是 正 交 和 矩阵，4 是 由 5 特征 值 构 成 的 有 &Xk 对 角 
和 矩阵; 


Ai “© 0 

0 Az 0 
A= 

0: >g 0 

ORRO sm 


写 出 CIKC 王 也 ， 在 满足 下 列 约束 条 件 的 情况 下 使 det(B 十 A) 最 大 
B EXE trTB) <a, 其 中 T= CQC 


利用 举例 1. 5. 10 中 的 Hadamard 不 等 式 ， 可 得 det(B 十 A) < [| (By +a), 4AM4B 


i<j<k 


EX fH It (CAUSE S ALK AAR), AB. =f. s Ba =p 是 K 的 特征 值 时 ， 
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等 式 成 立 。 同 样 假设 OS =O, W trrB)= Xyp: 。 因 此 若 想 使 乘积 >) (8 二 ) 最 大 ， 


即 相当 于 使 下 列 的 和 最 大 y5 w 
Dd) log Hads ARFA SOB DVB <a 
1<ix<k 1<i<k 


如 果 和 忽略 区 域 约束 Bl ，…，Rh 宇 09，Lagrangian 量 
2208 Bese) = D) loge +a.) +e(a— D re) 





1<i<k Iis k 
在 满足 下 列 条 件 时 
babe, € lx 
pon pele es ‘i ane Avy 1 
取得 最 大 值 。 
为 了 满足 区 域 限制 ， 取 
yg a 2 À 
B= Fes ai) ， i Sage 
并 且 调 整 值 < 之 0， 因 此 有 
1 一 一 一 EN 
2 = yai) = é (4. 1. 28) 
可 知 信息 容量 Cla, Q, >) i 
CQ 玉生 二 >) log (1 + Sy As) (4. 1. 29) 
I<I<k t 


其 中 RHS 从 式 (4. 1. 28) 中 得 到 且 v= 二 1/x。 同 样 能 够 说 明 容量 CC(a，Q，3) 等 于 上 一 个 表 
达 式 ， 最 终 的 答案 会 在 式 (4. 1. 19) 确 定 。 

我 们 现在 讨论 Shannon 第 二 编码 定理 的 直接 部 分 ， 它 适用 于 有 区 域 限 制 的 一 般 信 道 。 
尽管 这 个 定理 的 表述 与 定理 1.4.15 和 2. 2.1 仅 在 码 字 约束 的 假设 上 不 同 ( 且 下 面 的 证 明 仅 
仅 是 定理 1. 4.15 证 明 的 重复 )， 但 把 它 放 在 正式 内 容 中 是 有 益 的 。 
定理 4.1.8 CHEK FY” 的 条 件 概率 Pi (C+ |x 发 送 ) 序 列 和 输入 向 量 的 解码 约束 
XE 和 DM 序列， 根据 这 些 条 件 能 够 确定 信道 。 假 定 概率 PY (。|x'm 发送 ) 是 由 与 参考 测 
EU” HHH PMF fa (y™ | xm 发送) 给 定 。 已 知 c 福 0， 假定 存在 输入 概率 分 布 Po 序 
列 ， 则 有 

(GD lim Px» (D™ ) 一 1。 

GD PA Px 由 与 参考 测量 pm 有 关 的 PMEF Se (x ) 给 出 。 

GD FARMER RA: 对 于 所 有 二 0， 

limye Pm yo CTI 
fx™ yin? (x Y™) 


Fx Cx) fy YM) © 


从 = (| log, 





<e) (4, 1. 30a) 


其 中 
fx™ y™ (x yo = fx™ CD fa hee eco” 发 送 ) 
fey y= [te CEN) Fa Cy | eR yd FO) ~ C4. 1 30b) 
则 信道 容量 满足 CSc, 
证 明 R<, ZEMER xA d), =, xYM), Ep M 一 2 严 ， 它 是 由 独立 同 分 
布 的 码 字 组 成 ， 且 每 个 码 字 x CG) PN = Py Rai, Be ILD BF xe (7 被 发 送 ， 
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接收 到 (随机 ) 字 Y* =Y" G), HEE CA. 1. 30b) 中 所 示 的 联合 PMFfxw ym, $ e>0, 
利用 联合 典型 性 解码 Y> : 
dy Y”) =x" G) Sar" (D E 
x^ (1), e, x" (M) PHE — BY h E H aNG), Y~) © TY 

其 中 集合 TY 已 在 (4. 1. 30a) 中 详细 说 明 。 

假定 随机 向 量 x“ (7) 已 被 发 送 ， 当 存在 下 列 情况 时 : 

G) AED., 

Gi) G E 

Gii) 对 于 一 些 i 学 入 A ONG), YNET. 
假定 每 次 都 会 发 生 一 个 差错 。 

这 些 概率 互相 不 排斥 ， 但 是 如 果 所 有 的 情况 都 没 出 现 ， 则 有 

(a) x EDM, 

xG EE), =e x MPERA G, YET. 

因此 ，JT 解码 器 将 会 返回 正确 的 结果 。 考 虑 到 平均 错误 概率 

Bl Py i EGP") 


1<j<M 
其 中 E(j，P") 是 上 述 任 意 可 能 事件 (i)-(iii) 发 生 的 概率 ，: 
EG, PY) =PO G) ¢ DY} U UIG) YN ¢ TS} 
EKON YY) E TN E i sz) 
=El(x*Gj) ¢ D™ 
+ El(x*G) E Dd a) 
式 (4. 1. 31) 中 的 符号 下 ， 台 分 别 表示 : OMAA Exa), , x MRA (2) 
x (PARKA AN HH mY”. AU Ap YY 和 x 是 相互 独立 的 。 为 了 便于 进一步 计算 ， 
将 相应 的 概率 分 布 正 表示 为 Cartesian 乘积 。 例 如 ， 当 j=1 时 ， 在 式 (4. 1. 31) 中 将 表示 为 
P= Pma X Pay X e X Pa 
其 中 Paoro RIRA H Ex CL) 和 输出 向 量 Y> (1) 的 联合 分 布 ， 它 是 由 联合 PMF 决 
定 的 
fy ro NIY) = FM ay Ce) faa Cy” |x’ 发 送 ) 
根据 对 称 性 知 EG. PARES 的 变化 而 变化 ， 因 此 在 接 下 的 论证 中 我 们 取 j= 二 1。 E 
率 E(1，P"™ ) 不 会 超过 下 列 概率 的 总 和 
PENAY E D™ )4+ PC(x™(1),Y") ¢ TY) 


# Sro G),¥") € TY) 
根据 条 件 知 lim Pw (DY) = 1, % Noo VEIN 0. 根据 (4. 1. 30a) 知 ， 当 取 
极限 N 一 co 时 ， 第 二 个 被 加 数 同样 趋 于 0。 只 需要 估计 和 Sp CD YY) Sole Me 
i=2 
首先 ， 村 因此 有 
Sro" YEE TRY = AEPA (2) ,¥") € TS) 


接 下 来 ， 根 据 举例 4. 2. 3 可 得 ( 见 下 式 (4. 2. 99) 
POR C2 Y") E 75 = 9—N(e—3e) 


383 


384 


385 
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因此 有 
DROGY") E TN) < 0w 


当 e<(c—R)/3 时 ， 当 Noo ERËF O. 
因此 当 Rc 时 ， Ai lim@y(P™)=0. 但 是 CrCP>) 会 有 如 下 表达 形式 


EAP = Brvg, KE ( EG) 


其 中 值 ECG) 表示 在 (4.1. 14) 中 定义 的 错误 概率 。 mm 
EG) t ‘i x’ ¢ Dp” 
J. \ Py (dW) Ax*G)|2°G) RB), xX © D™ 
我 们 总 结 出 车 存在 样本 码 本 .wn 序列 且 平 均 错 误 概 率 为 
十 y e(x)— 0 


EZ yn 
HP e(x)=e(x, Kuns DY, GY ORDEZ un PRAF 的 错误 概率 ， 存 在 JT 译 码 
at, FFARR DY 规定 的 区 域 约 束 ， 可 得 : 


e(z) = ln EEP 
Pi aN O Earle RR x Ee DY 
因此 ， 根 据 定义 4.1.2 可 知 R 是 可 靠 传输 速率 ， 则 完成 了 定理 4. 1. 8 的 证 明 。 口 
我 们 还 顺便 证 明了 如 下 结论 。 


定理 4. 1.9 假定 定理 4.1.5 的 条 件 在 这 里 同样 成 立 。 对 于 所 有 R 二 C， 存 在 长 度 为 N， 
大 小 为 M 一 2 了 的 码 .Www 序列 ， 当 IN->co 时 ， 最 大 错误 概率 趋 于 0。 
例子 4.1.10 根据 定理 4. 1. 8 能够 说 明 式 (4. 1.17) 和 式 (4. 1. 19) 中 的 表达 式 是 相应 容量 的 真 


实 值 (基于 ML 准则 ): 对 于 方差 为 的 标量 白 噪声 ， 在 存在 平均 输入 功率 约束 》) x? < Na 
1<j<N 
情况 下 ， 则 有 
玫 1 a 
Clase?) = + log(1 te) 


MFPBH P=, e, HMMA, EAR >) rje < Na REP, A 


1<j<N 


aso = + bal log(1 + P=) 


Ti 
其 中 >) wde’ 


1<i<k 
对 于 协 方差 矩阵 为 的 有 色 向 量 噪声 ， 在 存在 约束 2 x Qr; <S Na 条 件 下 ， 有 
r $ (uyr FADE 
Cla, Q, 5) = Fee a) 


其 中 DE (v— YAi)+= ao 


l1<i<k 

明确 地 说 ， 对 于 标量 白 噪 声 我 们 取 随 机 编码 ， 其 中 信号 X) (2), 1<j<N, 1<i<M= 
「 2 天 坦 独立 同 分 布 N(0，a 一 se)。 在 这 种 情况 下 需要 验证 定理 4. 1. 5 的 条 件 : 当 Noon} 

(CD limP G) EB (VNa), A FHA i=1, =, M)=1, 


(ii) 依 概率 limlimbv 一 CCa， o), Hp 
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WANE fe PUG) 
On N Zu Og BCX) Py) 





首先 探究 性 质 (i) 
Pox” Gi) E BY CVNad, 对 某 些 i = 1,*…,M) 
i ; 
SP ADS > 
(m, >, Ps ; a) 
I ; 
=p(— (X, G* -— 08) S 
(7m, 2 i<M Ph : 6 e) 
<E (X —g*)? (amz)? 
然后 探究 性 质 (i) : 因为 (X;，Y;) 满 足 独 立 同 分 布 ， 利 用 大 数 定理 可 以 得 到 
P(X; We z 
Ov > Elos XP, 一 ICX, Y) 
但 是 存在 


ITCX1i :Y ) 一 — hY |X) 


=+ logl2xe(a—e+o° )]— Flog (2neo! ) 
1 .二 
= Flog el( r+) Clad), Y e=» 0 时 


因此 如 同 说 明 那 样 ， 容 量 等 于 CCe, 史 )。 有 色 噪 声 的 情况 可 以 利用 同样 的 方法 进行 研究 。 
备注 4.1.11 引入 由 域 D 描 述 的 区 域 约束 并 不 意味 着 整个 码 必 都 应 该 位 于 卫 中 。 为 了 保 
证 错误 概率 Pr (& ) 一 0， 我 们 只 需要 确保 当 码 字 长 N=, WF rO EZEKRE 
位 于 DF. 

例子 4. 1. 12 我 们 考虑 一 个 非 Gauss 加 性 信道 ， 其 中 噪声 向 量 表示 为 











Zi 
Z=]: 
Zy 
双 面 指数 独立 同 分 布 元 素 马 一 (2)Exp(A) ， 且 PDF 表示 为 
fz Cz) 一 ae-| a a E 


其 中 Exp 表示 指数 分 布 ,， A>O H E|Z|=1/A0L k PES I) 。 接 下 来 计算 容量 ， 同 样 基 
于 ML 准则 ， 存 在 区 域 约束 x EL(Na)， 且 满足 
ENa) = (x ERY; >) |z,|< Ne} 


1<j<N 
首先 ， 如 果 随 机 变量 X WE E|X|<o, BALE ZR E|Z\<c, WAS E|X+Z|\< 
a 十 5。 然 后 利用 下 列 事实 : PDF 为 fy HE|Y|<y REPLAY FFE R 
h(Y) < 2+ log. 
4 AMY Y~(2)Exp(1/) HSS RA. 
事实 上 ， 利 用 Gibbs 性 质 可 得 


oS | fr (lof (dy 


fo [fe (y) logge? EP’? (y)dy 
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=1+ | yldy+ logy 
=1+logn< 2+ logņ+ -E |Y | 


= | Cy) logg? Ee” (y)dy 


只 有 当 fy=POPOO? t, ERR. 
然后 根据 SSCT 的 相反 部 分 ， 有 

nit (N) yN) ene Ki ; 

NI :Yo = SAY) —hZ) 
< D2 + log, (aj +a!) — 2 + log) 


= ZB log: +a) 


< log, (1 +a) 
根据 以 前 相同 的 参数 可 得 RHS 是 信道 的 容量 。 
举例 4. 1. 13 接 下 来 我 们 考虑 存在 加 性 均匀 嗓 声 的 信道 ， 骂 声 随机 变量 满足 Z~U( 一 b，b)， 
其 中 0>>0 表示 骂 声 幅度 的 范围 。 令 输入 信号 的 区 域 约束 表示 为 有 限 集 f CR( 输 入 符号 集 )， 
Ppa 二 {a，a 十 56，…，a 十 (M 一 1)6b}。 计 算 信 道 的 信息 容量 ; 
人] 

解答 “由 于 平移 不 变性 ， 我 们 可 以 假定 有 a=—A 和 a 十 Mb 二 A， 其 中 2A=Mb 是 输入 信 
号 集合 的 大 小 。 有 公式 ICX: Y=ACY)—hACY |X), HP ACY |X) =h(Z) =1n(26) RAY 
须 使 输出 信号 的 炉 h(Y) 最 大 。Y 的 范围 是 一 A 一 bYA 十 5， 因 此 Py 必须 尽 可 能 接近 均 
名 分 布 U( 一 A 一 bp，A 十 6b)。 

首先 假定 M 是 奇数 : #4 二 2m 十 1， H 

2 ={0,+A/m,+2A/m,-:, +A} 及 b=A/m 
也 就 是 说 xz 中 的 点 将 区 间 [ 一 A，A] 等 分 为 2m 个 间隔 ， 每 个 间隔 长 度 为 A/m; 扩展 的 区 
间 [ 一 A 一 6，A 十 bj 包含 了 2(m 十 1) 个 这 样 的 间隔 。 无 需 计 算 就 可 知道 如 何 使 概率 分 布 Px 
最 大 化 : Bl m+1 个 点 都 是 等 概率 出 现 
—A,—A+2b,*,A—26,A 

EMEK, RA “MBE” of FS lel Ba SSE, ER TF A SBE HE AY 

事实 上 ， 当 Px (一 4) = Px (一 A 十 20) = 二 … 二 Px(A) 时 ,输出 信号 PDF fr 将 值 
[26(m 十 1)] “分配 到 每 个 点 yE lL—A—b, Atb]. EME RAM, HE Y~U(—A-—od, 
A 十 6)。 在 这 种 情况 下 信息 容量 Ce 等 于 

In(2A + 26) — ln26 = In(1 + m) (4. 1. 32) 

4% M=3 时 (三 个 输入 信和 号 ,在 一 A, 0, Akt, Hb=A), C™=1n2, 4 M=5 时 (五 个 输 
入 信号， 在 一 A,， —A/2, 0, A/2, Akt, HO=A/2), C™=1n3, 4 M=13 时 见 图 4-2, 


[8% 1 W213 
m=6 
2b 
SSS Se See 
-A 0 A 
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备注 4. 1. 14 可 以 证 明 若 (iD 噪 声 随机 变量 Z~U( 一 6, b) X MAMAN DX 在 区 间 

[一 A，Aj 上 有 广义 分 布 ， 且 5 二 A/m， 则 从 式 (4.1.32) 中 可 以 得 到 输入 和 输出 信号 XX 和 

Y 二 XX 十 Z 之 间 的 最 大 互信 息 IX: Y). ARH Kolmogorov， 互 信息 IX: 到 可 以 被 定义 为 : 
ICX:Y) = supl (Xe:Y,) (4. 1. 33) 


其 中 上 确 界 取 自 区 间 [ 一 A，AJ] 和 [一 A 一 6， A 起 中 所 有 有 限 分 区 入 ， X; MY, 分 别 表 
示 随 机 变量 量化 之 后 的 形式 。 
如 果 


Px(— A) = Px(—A+ 26) = “+ = Px(A— 2b) = Px(A) = 45 (4. 1. 34) 


在 满足 假设 (i) 和 (ii) 条 件 下 ， 输 入 信和 号 分 布 Px EIX: Y) 最 大 。 我 们 将 这 种 分 布 表示 为 
poy 4 或 者 Pee. 

假如 M 二 2m， 即 允许 的 信号 数目 #.gf 是 偶数 ， 则 计算 变 得 更 复杂 。 很 明显 输出 信号 
Y 不 可 能 达到 均匀 分 布 U( 一 A 一 6，A 十 65)。 为 了 使 h(Y)= 二 hh(X 十 Z)， 必 须 限制 在 区 间 
[一 A 一 6，A 十 b] 上 的 分 段 常 量 PDFsfy 类 ; 证 明 如 下 。 

在 区 间 [ 一 A，A] 上 等 分 可 以 由 点 土 A/(2m 一 1)， 士 3A/(2m 一 1)，…， 土 A 生成 ; 它 
们 可 以 由 公式 土 (2k 一 1)A/ (2m 一 1) 描 述 ,， k= 二 1，,，…，m。 这 些 点 将 区 间 [ 一 A，A] 分 割 为 
(2m 一 1) 间 隔 ， 长 度 为 2A/(2m 一 1)。 当 Z~U(—b, 6) 且 A=b(m—1/2), 在 区 间 
[一 A 一 6，A 十 bj 上 我 们 可 以 得 到 输出 信号 PDFfy(y): 


Pm/ (26), b(m— 1/2) Sy < b(m+ 1/2) 
(Pi + per) / C26), bik =1/2 S yo b(R+1/2), k = 1,°*,m—1 
fr = <4 (p + p:)/(26),  —6/2< y<b/2 
Cpi + fens) /(26), BCR—1/2) <y < b(R+1/2), k =—1,°*, —m+1 
p—m/(26), — bn + 1/2) = y<=— b(n — 1/2) 
其 中 
pa = pa (zole =F) P(x EDA), bm team 


RT HARSH. MAQO=AX+DEH 


Pmj, Pm > Pat Penin pit bes pat his, pase 
2 2b l<k<m 2 


x ee se rte 
324 2 2b 2 2b 


可 以 看 出 最 大 分 布 Px 为 p_, 二 pr， 上 k= 二 1，…，m。 因 此 ,我们 面 对 一 个 优化 间 题 
HAM Gp) =— palne — SY Coy + parr dIn PT PH — piln BE (4.1.35) 


1<k<m 


服从 概率 约束 pi > 0 #2 >) pi = 1H A RRP A) 如 下 
LP xsd) = Gp) FAP, + $2p, — 1) 
且 当 下 列 条 件 满足 时 取得 最 大 值 。 
5p, LP asa) = 0,k = 1,",m 
因此 ， 我 们 有 m TER, 且 左 端 相同 : 


—In Pa Prt bn) —2+2= 0, CGE E) Pm (Pat + pn) =— 452e2 2 
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er PEER, 


— In SPs FPP F Per 9. 2, = OCH) (pes + fu) (Pi + an 


4b 
= 4b h Kk m 
-In AP FPP 一 2 十 也 一 0( 推 出 )2pi (pi + po) = 4b? e” 
由 此 导出 
390 Sh he ROE Enk 
Pu + Pax = Pm-2 F Pans = e = pe + pi 
且 
Pn = Pra 十 力 = = pro thi | 
，m 是 奇数 
Pim + Pmi = Pm F pn = 9 = p Hp: = 2p i 


对 于 M=2m 的 一 些 值 ， 解 是 十 分 直观 的 ， 即 ， 对 M 二 2( 两 个 输入 符号 土 A HbA): 
pi=1/2B RK Mi AS PDF 为 
1/46), A<y<3A 
ew pue»: —A<y<A, #C™ = (In2)/2 
1/(46), —3A<y<—A 
对 于 M=4(Wt+HAAS—A, —A/3, A/3, AH b=2A/3): p:=1/6, p2=1/3 RK 
输入 符号 PDF 为 
1/(66), A<y<5A/3 H—5A/3<y<-A 
hO = R3 2A/3 < y SA E — A< y<—2A/3 
1/(6b), —2A/3<y<2A/3 
从 而 导出 C*=jn¢g ns 2) 。 1 
对 于 M=6( 六 个 输入 符号 一 A, 一 3A/5, —A/5, A/5, 3A/5, AHb=2A/5): p= 
1/6, pi 三 1X123 a= 是/4。 类 似 地 ， 对 于 M= 二 8( 八 个 输入 符号 二 A 一 5A17， 一 3A/7= 
A/T, A/T, 3A/7, 5A/7, A Hb=2A/7): pı=1/10, pz=3/20, ps=1/20, P=1/5。 
实际 上 ， 我 们 可 以 将 所 有 的 概率 用 p, 表示 。 即 对 偶数 m: 


Pn = 2p 
Pm- Se pe e pi 
Pr = 3p: = Pe 


Pma = 2C pa — pi) 
Pma = 4p, — 2p: 





391 p= ep, 
由 此 

p= ™*2p,, 

pete, 

po BES, 
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(4. 1. 36) 
对 应 的 PDF fy 给 出 值 
ange i E Pe eS ee Ses 
h(Y) = 9 in re LDF 和 CH A mm T In2 (4. 1.37) 
另 一 方面 ， 对 于 一 般 的 奇数 m, RAWANG A Px 为 
m+1 
2m(m + 1) 
Lt 
2m(m + 1) 
全 
2m(m-+ 1) 
m— 3 


~ mm +1) 


A= 


1 


Pant = Fine +1) 


ks m 
n= aati ate a 
AFE TIFRAMMAS A RAR 


E, CaS AEE IRAE 
eee pe A slama ry A 4 1. 39 


接 下 来 ， 我 们 将 (4. 1. 36) 和 (4. 1. 38) 中 的 特定 输入 符号 分 布 用 Ex N RETR 
备注 4.1. 15 ” 当 (iD 噪 声 随机 变量 Z~U(—b, 5) 独 立 于 久 且 (i) 输 入 符号 分 布 Px ARF 
[一 A，AJ 且 6 二 2A/(2m 一 1) 或 为 任意 值 (此 时 IX: Y) 定 义 为 (4.1. 33))， 很 自然 地 ， 上 
述 公 式 给 出 了 最 大 互信 息 I(X: Y)。 进 一 步 推测 ， 最 大 值 的 取得 在 上 述 假设 下 (i) 和 (i) 且 
对 任意 A>b>0, A/b 不 一 定 为 整数 或 半 整 数 。 这 里 M=2A/b+1 也 不 是 整数 ， 但 值得 作 
为 一 个 参考 变量 。 

所 以 当 5 从 A/m 变 为 A/(m 十 1) (或 者 等 价 地 ，A 从 bm 增加 到 gm 十 1) ， 且 相应 
从 2m 十 1 增加 到 2m 十 3)， 最 大 值 PEO 从 Pr 增加 到 PY PY; 当 A= i 
M=2(m+1)), 分 布 P%*” 可 能 或 可 能 不 与 式 (4. 1. 36) 和 式 (4. 1. 38) 中 的 分 布 Bi 一 致 。 

为 了 (部 分 ) 阐 释 清楚 该 问题 ， 考 虚 A/2 过 6<<A( 即 3 和 M5) 并 假设 输入 符号 分 布 Px 如 下 

Px(— A) = P(A)= p. E- -Px(0) =1—2p 


其 串 0 委 <<$ (4.1. 40) 


于 是 
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hy (Y) =— +(Apln B+ (2b Aya — Pind 元 2 二 (人 A 一 (1 2p)In 2 pe) 
(4.1. 41) 
且 等 式 由 (Y)/dp 一 0 等 价 于 
p* = (1 —p)*4 (1 — 2p) (4. 1. 42) 


对 于 5 二 A/2， 这 导出 了 p*=A1—2p)*, Bl p= 二 1 一 2p， 由 此 可 得 p= 二 1/3; 类 似 地 ， 对 于 
5b 二 A,p 二 1/2。 这 些 和 之 前 得 到 的 结论 一 致 。 对 于 5 二 2A/3， 我们 有 
: p^ = py (1 = 2p)? 
Bp 
P= (Ls BK = DY (4. 1. 43a) 
我 们 对 在 (0，1/2) 之 间 的 解 感 兴趣 (实际 上 ， 在 (1/3，1/2) 之 间 )。 当 65 二 3A/4 时 ， 等 式 
变 为 
p^ = 0 — pyr”? al —2p)*/? 
即 
pP=Ad—p~pd—2p) (4.1. 43b) 
由 此 p=(3—5)/2, 
例子 4.1. 16 考虑 以 下 例子 ， 噪 声 随机 变量 2 有 两 部 分 : 离散 和 连续 。 假 设 
fz) =a (l= (eo) 
即 Z=0 的 概率 为 q 且 Z~N(0， 5) 的 概率 为 1 一 gE€ (0，1)。( 所 以 1 一 g 给 出 了 总 错误 概 
率 。) 这 里 我 们 考虑 以 下 情形 


a= go t+ —q 5 al(lel<o) 


并 且 输 入 信号 PMF 的 形式 为 
Px(—A) = pasPx(0) = pos Px(A) = pi (4. 1. 44a) 
其 中 
P—-lspoohi [0 patpth=1 (4.1. 44b) 


BH b=A, M=3((—-A, A PR=TESSR). MARSA 
h(X) = hl pa popi) =— plnp — polnpo — pilnp, 
输出 信号 PMF 的 形式 为 


fy =q( p_ 10-4 + podo + p04) + 1 —q) = 5, 


X |palc-2A<y<0)+p1(-A<y<A)+p,10 < y< 2A] 
ASEH ACO (相对 于 及 中 的 参考 计量 w 来 计算 ,其 中 的 绝对 连续 部 分 符合 Lebesgue H 
离散 部 分 在 一 A，0，A 处 的 取 值 为 1) 由 下 式 给 出 
ACY) =— qlng— (1 — 9) lnG —q) —gh(p—1,) p05) 
— = @Al paln $4 + (p+ poln Pe Lt be 


Po t Pi Pi 
+ (po + prin POP + piln ¥ | 


根据 对 称 性 ， 当 pi =pi=p. pPo=l—2pN. AYMBRKA. Age (0,1) 时， 我 们 必 
须 最 大 化 下 式 


= fore Pih 2p 
hY) = hlg, 1— 0) — hpp 1 2p) — C1 DA| 22n 4ta By = oa 
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求 导 得 到 

d ee p p —{1—D A/g 

gph =0 cur i) 
mRA—qg™A/q>1 该 等 式 导 出 一 个 唯一 解 ， 其 确定 了 最 优 的 输入 信号 分 布 Px， 形 式 为 
A (4. 1. 44a) ~(4. 1. 44b), 


如 果 我 们 想 要 用 g 导出 h(Y) 的 最 大 值 ( 即 信 息 容 量 的 最 大 值 )， 则 对 g 求 导 : 


d AR i ERT A ACs = 
ah = 0 Ci ee (A— Dh(p,p,l— 2p) — 2Aln2A 


如 果 考 虑 一 个 [一 A，A] 上 连续 分 布 的 输入 信号 ， 且 PDF 为 fx (zx)， 则 输出 随机 变量 了 = 
X+Z 的 PDF 由 卷 积 给 出 : 





i ins AA 


fro) = 元 Fx(a)dx 


Cy-6) V (一 人 


WANE hY) 一 一 [Enf Wdy 用 fx 的 形式 表示 为 


(rtzth) AA 


ee atl, i 
MX+2) = 一 起 f fr EE fE A Ra TE Jazaz 
PDF fx fe/) 46 APR h CX + Z) E h a F 
b 1 Crtsth) AA i F 
0 =f (| 部 | fra dz |F Fala) 


(rtz) V (—A) 


(rtztb) AA 7 ETA 
Ayi fada! | ‘Cf +z +0) — fx(z+z—0)])dz 


(rts—b) V (—A 

当 考 虑 一 个 单位 噪声 的 二 时 每 信号 的 信道 时 ， 有 一 个 有 趣 的 问题 。 假 设 一 个 输入 信号 
HAR 上 的 点 x=, 2) RMR, MAPK 2 一 U (一 2， 史 且 独立 于 输入 信和 号 。 
则 平方 SCxz) 三 (zi —b, 2, +b) X (a. —b, zı +b) PDF H 1/440), 给 定 输入 信号 
X=(zi，z) 下 ， 确 定 了 输出 信号 了 的 可 能 位 置 。 假 设 我 们 要 处 理 一 个 有 限 输 入 符号 集 
好 区 了 桶 ， 则 输出 信号 域 为 有 限 集 允 = U,czySCxz)。 以 上 的 论述 说 明了 ， 如 果 我 们 能 找到 一 
个 子 集 gY' 忆 .of 使 得 S,(x) 目 xE 克 划分 区 域 罗 ( 即 履 盖 多 但 不 相交 ) ， 则 对 于 输入 PMFP, 
目 P,(x) 二 1/(#gY') (在 gfY' 上 的 均匀 分 布 )， 输出 向 量 信 号 PDF A 在 多 上 为 均匀 分 布 ( 即 
fy(y) 二 1/( 儿 的 面积 ))。 因 此 ， 输出 信号 焙 h(Y) 二 In( 儿 的 面积 ) 在 所 有 输入 信号 PMFsP, 
且 P.(Coz)=1 中 为 最 大 值 (即使 在 P;( 尹 ')==1 且 家 :和 罗 为 一 个 仿 射 Useg SCr 位 于 多 中 
的 任意 集合 ， 也 为 最 大 值 )。 最 后 ， 在 信道 的 信息 容量 为 


o= Lin BABE nats/( ERAS) 


参考 图 4-3. 








x 点 来 自 久 (总 数 10) 
o KORA A\ 多 (总数 8) 


Eg 上 的 一 个 例子 
EB 


平方 S,(x) 
ial 
x 


395 


396 


397 


262 RAE 


为 了 有 所 区 别 ， 任 意 可 以 被 划分 为 不 同 的 长 度 为 22 IK a AED, CR 可 导出 信 
息 容 量 


c! = >in DBE iats/ REMAN E) 


加 性 噪声 在 (一 6p，5) 上 均匀 分 布 ， 且 每 个 任意 的 输入 信号 在 信道 上 经 过 两 次 ， 随 机 向 量 输 
入 xz 一 (Xi ，Xs) 服 从 区 域 限制 ED. A GLA Te PMF 对 中 心 形成 块 分 配 相等 的 概率 。 

一 个 类 似 的 结论 在 R 上 仍 成 立 ， 当 每 个 输入 信号 在 信道 上 经 过 三 次 时 ， 即 输入 信号 是 一 
个 三 维 向 量 x 二 (z,，z，zs)。 客 观 地 ， 当 我 们 用 一 个 K 维 的 输入 信号 x= Cr, or, ER 
且 区 域 限制 为 xE De CR*， 其 中 Dy 为 一 个 能 被 划分 为 长 度 为 22 的 不 同 的 立方 体 的 有 界 区 
域 ， 对 应 的 信息 容量 


ae 
Ce = ein MAER nats/ EMA HE) 


当 输 入 向 量 信号 PMFP,. 对 中 心 形成 立方 体 分 配 相同 的 权重 时 达到 该 容量 。 
当 KK 一 co 时 ，Cx 可 能 收敛 于 一 个 极限 值 C 洗 ， 从 而 导出 在 区 域 限 制 Dy 下 的 平均 每 个 
任意 输入 信号 容量 。 这 种 情形 下 的 一 个 例子 是 ， 当 Dk 为 一 个 KK 维 的 立方 体 
K = (— 2bm ,2bm)** 
于 是 Ce =In +m) ABE K 的 变化 而 变化 ( 且 信 道 是 无 记忆 的 )。 


4.2 连续 时 间 集 的 渐 近 均 分 性 





宁可 用 智者 的 错误 来 制定 你 的 原则 ， 而 不 是 愚者 的 完美 。 
William Blake(1757 一 1821)， 英 国 诗人 


本 节 提 供 了 定理 4.1.8 证 明 中 的 一 个 缺失 步骤 和 额外 的 例子 。 我 们 先 从 一 些 渐 近 均 分 
性 的 各 种 形式 的 说 明 开 始 。 中 心事 实 基于 Shannon-McMillan-Breiman(CSMB) 定 理 ， 该 定 
理 被 认为 是 信息 论 的 基础 。 该 定理 给 出 了 平稳 遍历 过 程 X= (X,) 的 信息 速率 。 回 顾 概率 空 
间 工 的 一 种 转换 形式 为 遍历 的 ， 当 每 个 集合 A 满足 TA 二 A 且 了 P(A) 二 0 或 1。 对 具有 有 限 

期 望 值 的 一 个 平稳 遍历 信 源 ，Birkhoff 的 遍历 定理 说 明了 大 数 定理 (概率 为 1): 
FA (4.2.1) 

典型 地 ， 对 于 一 个 遍历 过 程 的 可 测 函 数 f(X,)， 

LS x) > Ef(X) (4. 2. 2) 


定理 4.2.1 〈Shannon-McMillan-Breiman) 对 任意 有 限 多 值 的 平稳 遍历 过 程 X， 信 息 速 率 
R=h, P, (4.2.3.7? HRRGA, SEKAPFRTH 


— lim Tlogpxr' (XP = h (4.2.3) 
需要 一 些 辅助 引 理 来 证 明定 理 4.2.1， 本 节 的 末尾 给 出 了 这 些 引 理 。 
举例 4.2.2 (一 般 渐 近 均 分 性 ) 给 定 随 机 变量 序列 Xis Xo 0s Xyo 其 中 N= Zye 


Xi 


XN 


随机 向 量 x? = 的 分 布 由 关于 测度 j= 二 jyXp*… Xp(N 个 因子 ) 的 PMP PN (x? ) 决 定 。 
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假设 Shannon-McMillan-Breiman 定理 是 正确 的 : 
— L logfay OM) 依 概率 收敛 于 
其 中 为 一 个 大 于 0 的 常数 (典型 地 ，j 一 lim ACX,))。 给 定 s>>0， 考 虑 典型 集 








Nlogfs (x tc 


Ty 


集合 SY YR BL (SY) = | ecdz zcdzw) 具有 如 下 性 质 ， 


we” (SY) << 2 对 于 所 有 的 志和 IN (4. 2. 4) 
且 ， 对 于 0 过 eh 和 所 有 的 6 二 0， 
pm (SY) > 82%, 对 于 足够 大 的 N， 依赖 于 5 (4. 2.5) 
解答 ”由 于 PORN) 二 | wf GY) [[ ade) 一 1， 我 人 有 
1<j<N 


1= | fey) Meia J fa aN) TI pcdz) 


1<j<N 1<j<N 


> gesp II u (dz;) = pt GSN 


e 1<j<N 
上 式 给 定 了 上 和 界 (4.2.4)。 另 一 方面 ， 给 定 ?之 0， 当 N 充分 大 时 ， 严 (SN ) 三 1 一 8。 此 时 ， 
HT O0<e<th, 
1—8< PS") = | fC) TI 2 (de,) 


1<j<N 


< alge fe I pdz; ) 三 Se (N) (SN) 


SY 1<j<N 


这 就 导出 了 下 界 (4. 2. 5)。 口 

接 下 来 将 渐 近 均 分 型 扩展 到 XY 和 YY 的 联合 分 布 (在 实际 应 用 中 ，X? 可 以 是 某 个 信道 
的 输入 而 YY 为 对 应 的 输出 )。 给 定 两 个 随机 变量 序列 Xi, X25 ° AY.» Yo, e H NS 
Xı Y, 
l, 2, ee 随机 向 量 XY = 


和 Yi = 的 联合 分 布 由 测度 jy"”X o™ 的 联合 














XN Yn 
PMF fx¥ yx 决定 ， HP pM =pX por Xp, VV =uX ur XV SANE AF). & fxr 和 
fy* 分 别 为 向 量 XY 和 YY 的 (联合 )PMF。 

正如 例 4. 2. 2 所 示 ， 我 们 假设 Shannon-McMillan-Breiman 定理 是 正确 的 ， 对 于 (X?， 
YY ) 和 每 一 个 XY AY), BEA Noo, 


一 六 log (XY) >h, — Nlogfry (YY) — h: 


— Slow fayny (XY YY) KERRAT h 


HP hi, hs 入 为 大 于 0 的 常数 ， 且 
ph (4. 2. 6) 
典型 地 ， h, =lim h(X;), h,=lim h(Y;), h=lim A(X;, Yr) 4: hı +h; —h=limI(X;; Yi) 5 


给 定 > 0, HERREG, yl ) 组 成 的 典型 集 ， 其 中 
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Tı M 


TN YN 


TY =| (Ny): —e < Slog fy GY) +h <e 
-eS Nlogfry OM +h: <e 


—e < Flog fat wy (xl sy!) +h <e 2.7) 
根据 上 述 假 设 ， 对 于 任意 的 es 盖 0， H lim PCT!) =1, 接 下 来 ， 定 义 TY KRR: 


ey x yo? CE = ee (d > ii i than (d y7) 


€ 


BR. Sth Aa ye, YN), HP ALXY 的 PMF 相同 ，YY 和 YY 的 PMF 相同 。 即 
KY AY. 的 联合 PMF 具有 如 下 形式 
,TM Gl yh) = fan GN) fey OT) (4. 2. 8) 
接 下 来 ， 我 们 估计 TS OAR XT, FOET 的 概率 。 
举例 4. 2. 3 (一 般 联 合 渐 近 均 分 性 )( 工 ) 典 型 集 的 体积 具有 如 下 性 质 : 


dD (4, 2.9) 
且 ， 对 任意 的 86>0，0 二 e 二 hh， 当 NN 充分 大 时 ， 
ja Reel) = a — wae CA: Z 10) 
CT) taka xy, vt), 
PUK YE TX) CANNES, ott BTA © FN (4.2.11) 
PS YOE TO SA p a a aaa ec (4. 2.12) 


解答 〈 工 ) 和 式 (4.2.4) 及 式 (4.2.5) 的 证 明 相 同 ， 其 中 用 fav) 蔡 换 对 应 的 部 分 。 
(CI ) 对 于 概率 POCXN, YET), 根据 式 (4. 2. 11) 可 得 : 


PCH) € TO= | ferry ud 1 00Cd yh) 由 定义 
= fet CD) Fay OM wld VOCE WD RARU: 2.8) 


< Q-Nihy 2) graj wd x ud ye) 由 A (4. 2. 7) 





R NCh; DH NChy €) ONC hte) 一 2 NChy thy —h-3e) 由 于 界 (4. 9) 
最 后 ， 反 转 最 后 两 行 的 不 等 式 ， 可 得 


> Nto raw] pid xN)u(d yN) 由 式 (4. 2.7) 


DS C1 — By grate g Nia e ON oo (1 = Nt g FECA, 2. 10) 

当然 ， 我 们 假设 Oe GE F SK (4. 2. 10) 的 假设 )， 但 增加 e 只 会 使 因子 2 Ni tho 变 

小 。 这 证 明了 边界 (4. 2. 12) 。 口 
浙 近 均 分 性 的 一 个 更 方便 (也 更 广义 ) 的 扩展 为 ,假设 对 比值 feys (XN, YY )/ 

[Pa (XY) fyn (YN)]，Shannon-McMillan-Breiman 定理 仍 成 立 ， 即 


1 Fanas (XY ,YY ) 
N°! Fa fe OD 依 概率 收银 于 (4. 2. 13) 


其 中 < 为 常数 。 注 意 到 fay vy 为 联合 PMP, fxn A fyx 分 别 为 随机 输入 和 输出 向 量 X” 和 Y™ 
的 独立 PMF， 且 参考 测度 为 jy Al o™ 
fx y N (x y= ix (x) fon Cyt |x? 发 送 ) 


fos W= [foo GY yp dxi) 
这 里 ， 对 es 之 0， 考 虑 典型 集 


fx yy (xy r) 
了 = (Xh ome SSR GT? 
根据 假设 式 (4. 2. 13) 可 得 lim PXT ， » YE TY) =1 MER > 0 MY. 
FEATS UK EAA, YN), Hep XY 的 PMF 和 XN 相同 ，YY 的 PMF 和 YY 
相同 。 
定理 4.2. 4 (和 联合 渐 近 均 分 性 相反 ) 假 设 性 质 (4. 2.13) 成 立 。 对 于 独立 组 合 (Y ，YY )， 
AN, YETA 的 概率 服从 


exe) Gt. Dal AD 


PE Y) E TY) < 2 a 对 于 所 有 的 < 和 (4. 2. 15) 
A, 对 所 有 的 >>0， 当 N KAKA, 
PUNY € TN) Sa-H2, 对 于 所 有 的 < (4. 2. 16) 


证 明 推导 出 式 (4. 2. 15) 的 过 程 如 下 : 
PURSE TY) =| fayre" d XY dy) 


mfp N) fyn Co Cd XN uld yy’) 


=| m (= fxn." Cx y) ) 
A ON Far GAY fa Y 


X fade’ Ot yi My" Cd xl )u* Cd yi’) 
Leno | Rm Gl IDAAN od yt) 


过 2 


see 
第 一 个 等 式 根据 定义 得 到 ， 通 过 代入 式 (4. 2. 8) 得 到 第 二 个 等 式 ， 第 三 个 等 式 由 直接 计算 
得 到 ， 根 据 边界 (4. 2. 14) 得 出 第 四 个 等 式 。 o 


最 后 ， 通 过 反 转 最 后 两 行 的 不 等 式 ， 我 们 得 到 边界 (4. 2.16): 
> “aed fa (xl ,yd x) vld yy) 


= 2 pCR YT) € TO Sra — 0 

第 一 个 不 等 式 可 由 式 (4. 2. 14) 得 到 。 

举例 4.2.5 令 x={X(1)，…，X(m))7 为 随机 变量 的 向 量 / 集 合 。x(C) 为 子 集 {X(D: 
iEC}， 其 中 C 为 一 个 下 标 集 {1，…， nn} 的 非 室 子 集 s 假设 满足 划 C= 二 k，1 二 kn 的 任 
意 子 集 x(C) 的 联合 分 布 由 关于 测度 JX… Xj 个 因子 ， 每 个 对 应 一 个 随机 变量 X( 让 且 
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x1) 


i€0) 的 联合 PMF fro SH. KUM, SLR xWHBA MZ x= ， 将 其 用 参数 








x(n) 
{z@) i1€ CH RFA xO xh ia Eic, 根据 Gibbs KFA, KAF{1, =; n} 
可 划分 为 非 空 不 相交 的 子 集 /Ci +, Co 对 于 所 有 的 划分 {C s C) ASSN), R 
分 如 下 

[Alog Fae eeg >0 (4.2.17) 
当 式 (4. 2. 17) 中 的 积分 取得 最 大 值 时 ， 应 当 如 何 进行 对 应 的 划分 ? 
解答 ”问题 中 的 划分 有 =n 个 子 集 ， 每 一 个 由 单个 点 组 成 。 事 实 上 ， 考 虑 将 集合 {1，…，n) 
划分 为 单 点 ， 其 对 应 的 积分 等 于 


[Aog E Ae TL Lro) (4. 2. 18) 


II fx, (x isjien 


1<i<n 


BCs ts CHL, oy n ERRUA. MIKE PMF 的 乘积 TT fcc aC) 去 除 log 
中 的 因子 ， 则 积分 (4. 2. 18) 化 为 如 下 和 的 形式 E 


[rown ae TI «(dzG)) + terms > 0 
a\X7108 XY erms 
Th feo cat 


l1&i<s 


从 而 得 到 答案 。 Oo 
举例 4.2.6 和 举例 4.2.5 相同 , 令 x 二 {X(1)，…，X(n)}" 为 随机 变量 的 集合 。 令 了 为 
另 一 个 随机 变量 。 假 设 存在 关于 测度 p” Xv HRS PMFfy, HP pPHpXe Xp KT 
n 次) 。 给 定子 集 CG(1，…，7z)}， 考 虑 求 和 
I(x(C) :Y) + ELI(x(C:Y)[x(C) ] 
其 中 x(C) 二 {XG):; i€C}, x(C)=(X): i€C}, BUC: Y) |x(C))] 表 示 在 x(C) 确 
FHC: Y) 的 期 望 。 证 明 该 求 和 不 依赖 于 集合 C。 口 
解答 ”注意 到 该 问题 中 的 表达 式 等 于 I(x: Y), 
在 4. 3 节 我 们 需要 关于 并 行 (或 乘积 ) 信 道 的 如 下 结论 。 

举例 4. 2.7 (文献 [173j] 中 的 引 理 A， 亦 可 参考 文献 [174]) EAA, PP, GH ARR 
的 二 个 离散 时 间 Gauss 信道 的 乘积 的 容量 等 于 

C= 5} %1tn +2, z) (4. 2. 19) 


l<j<r ajoj 


此 外 ， 当 一 些 a; 等 于 十 ce 时 ，(4.2.19) 仍 成 立 。 在 这 种 情形 下 ， 对 应 的 求 和 形式 为 
pla? » 
解答 ”假设 多 维 向 量 x 二 {zx1，…，z,}) 通 过 + 个 容量 分 别 为 C,，…，C, 的 并 行 信道 传输 ， 


Xj 








每 个 向 量 zx) 二 R”. BEH rom, n =f mr ]。 则 该 乘积 信道 的 容量 等 于 


Tm 








g 


X Ci 。 根 据 定义 ， 考虑 +=2 的 情形 。 对 于 直接 部 分 ， 假 设 R< +C HA e>0, 4 


1<i<r 


“充分 大 时 ， 我 们 必须 找到 一 种 编码 ， 使 得 对 于 该 乘积 信道 的 码 字 数量 为 M=ex 且 了 .一 se。 
设 y=(Ci+C,—-R)/2, SR’ MA 分别 为 信道 1 和 信道 2 的 编码 ， 且 Mi 一 ec mr， 
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M, 一 ewr， 对 应 的 错误 概率 满足 PZ, PZ 过 e/2。 构造 一 种 串联 码 乡 ， 其 码 字 为 r= 
aziz? Ha’ EW' ,i 二 1，2。 则 ， 对 于 所 考虑 的 乘积 信道 ， 对 应 的 编码 为 必 ME, BR 
概率 PZ Z 分解 如 下 : 


pe = 1 DO ”Pp( 在 信道 1 或 2 中 的 错误 |ziz? RB) 


M,M, ISM ISIM, 





根据 信道 的 独立 性 ，P2 Z 之 PZ 十 P& <e 从 而 导出 了 直接 部 分 。 
相反 部 分 的 证 明 更 加 复杂 ， 我们 只 提供 一 个 大 概 的 证 明 ， 有 兴趣 的 读者 可 参考 文献 
[174]。 主 体 思 想 是 应 用 所 谓 的 列表 和 解码。 假设 我 们 有 大 小 为 M 的 编码 乡 和 对 应 的 解码 规 
则 d= 二 dz 。 接 下 来 ， 给 定 信道 的 输出 向 量 约 ， 根 据 解码 规则 &= d 久 生成 了 一 个 有 工 个 可 
能 的 编码 向 量 列 表 ， 且 如 果 正 确 码 字 在 列表 中 ， 则 解码 (根据 规则 a) 成 功 。 于 是 ， 对 编码 
多 的 平均 错误 概率 P, =P? (d), Æ 
Puce Pk) PVs dd (4. 2. 20) 
其 中 P.Cd) =P? (4) 为 列表 解码 的 错误 概率 ，P2“ (L，d) 二 Pa ( 纹 ， 工 ，d) 为 对 编码 约 的 
所 有 长 度 为 工 的 子 编码 用 解码 规则 4 时 的 错误 概率 。 
现在 ,考虑 边际 容量 为 C, MC, 的 乘积 信道 , +R>C+C., y=(R-C,—-C,)/2, 设 
列表 大 小 为 L 二 ex"， 且 Ri 二 Cs 十 w。 假 设 我 们 使 用 大 小 为 e* 的 编码 儿 ， 解 码 规则 为 d, 
对 大 小 为 工 的 列表 ， 其 解码 器 为 4。 根 据 (4. 2. 20)， 有 
P. > P.(d) PSY (esd) (4. 2.21) 
GA R >C, BPN Cesz ，4q) 不 为 0。 相 反 部 分 的 证 明和 举例 4. 2.8 中 的 讨论 类 似 。 设 R,<R 
一 Ri 并 考虑 子 编码 儿 C 纹 ， 且 # 多 =es:。 假 设 我 们 等 概率 随机 选择 子 编码 儿 。 令 
M: 一 e& 目 PY 22(d) 为 对 所 有 大 小 为 #. 罗 一 e 的 子 编码 -2C 约 求 平均 后 的 平均 错误 概率 。 
则 
Pd) > Por d) +) (4. 2. 22) 
其 中 随 着 roo, A s(r)->0。 口 
举例 4.2.8 4 L=, M=, RIG LEW, 4 R.<R—-R, LM, 一 ee 时， 如 下 结 
论 成 立 。 给 定 大 小 为 M 的 编码 ， 解 码 规则 d， 大 小 为 的 列表 的 解码 器 为 494， 考虑 大 小 
为 #.9 二 Mi 的 等 分 布 子 编码 .PC 的 平均 错误 概率 P& (dg)。 则 P& (dg) 和 列表 错误 
概率 PZ (DBR 
PE (dy) > PF itd) +(x) (4, 2. 23) 
其 中 随 着 roo, e(r)>0, 
解答 SK, S, dWERBR, RERMAKEN L 的 列表 解码 器 4。 
给 定 包 含 M; PES NF RESCH, FADE AME RAR. OLA Bd 
的 输出 。 如 果 有 且 仅 有 一 个 元 素 xz; € .9 包含 于 .多 ， 则 .对 应 的 解码 为 x;。 否 则 ， 解 码 
错误 。 设 .9 的 解码 器 为 4”。 给 定 发 送 符 号 立 E. 双 ， 在 上 述 解 码 规则 下 ， 对 应 的 错误 概 
率 为 
Pa = dP Ll as |x) 


其 中 pZ |O HERBER d7 下 ， 在 发 送 r: 后 接收 到 .名 的 概率 ，Ey (多 |z:) 为 d” 的 错 
误 概 率 。 接 下 来 ， S Egal L| |a) 5E Z |r) FElZ |r), 其 中 Ey (L|) KR TE 
LNB EG Z |x.) RA r © SERS P HR T e E PE RE CA RE RA 
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Zi 为 条 件 )。 更 进一步 ， 将 Ey (名 |zi) 化 为 (条 件 ) 概 率 Eg (LS, x; le O MERR, 4 
JAR, MB ABE rEZ. 
& PP? (d)= PP (qd) 表 示 子 编码 .多 的 平均 错误 概率 。 上 述 的 推论 可 导出 
PY) <p D oF lad Ey Glad + DEI Hale) | 4.2.20 
Ek ES L 了 

不 等 式 (4. 2. 24) 对 任意 子 编码 .多 恒 成 立 。 从 多 中 等 概率 地 随机 选取 大 小 为 M; 的 子 编码 
. 邑 。 通 过 在 这 种 子 编码 中 取 平 均 ， 我 们 可 以 得 到 平均 错误 概率 PA = P& (d) 的 
边界 : 


PP Mig < PP) +55 pe) (PCPA |2VEE CL, x; ley a G4. 2.25) 


jek 
FE rp (ye EDR a. 由 于 2; 和 xz 是 随机 选取 的 ， 
(pCF | a JE 人 = PLZ |2) EY E CH FE 





FE 
PZP |a)" = D ce ace (Pix, |z) Lm = E 

从 而 得 到 

M, 

L 
p2™ < PX (d) + pZ |z) 二 

2 oy (2a (È wa) 

这 说 明了 
PEM < pe (D+ Mek (4. 2. 26) 


由 于 Re<R—R,, SA r>, M,L/M=e®te R0, 从 而 证 明了 不 等 式 (4. 2.23)。 O 
接 下 来 我 们 给 出 定理 4. 2. 1 的 证 明 。 考 虑 过 程 六 的 & 阶 Markov 近似 序列 ， 设 


ml 

PP? (XT) = pea R S eA (4. 2. 27) 
i=k 

H® = EL— logp(X, |X] = A(X, | X=) (4. 2, 28) 

H= E[— logp(X, | X=.) ] = rAcX, | X=) (4. 2. 29) 


该 证 明基 于 如 下 结论 : 引 理 4. 2. 9( 三 明治 引 理 )， 引 理 4. 2. 100 Markov 近似 引 理 ) 和 引 
H 4.2.11( 无 间 际 引 理 )。 
引 理 4. 2.9 对 任意 平稳 过 程 义 ， 


$ d BEEK) 
lim sup = log POP) =U aS (4. 2. 30) 
r 1 POT) 

a a S eZ. ol 
lim sup [los Sx |x) =° a. s ( 


证 明 MRA, H pe LRR, PXT 'EA,) 二 1)， 有 


PECK)" 3 party 2 DY? Car) 


Pee) plan) 


a5 LEA, 
D p® (at) 
a, EA, 
= p™(A) <1 
类 似 地 ， 如 果 B, =B, X)W pret | xo WARRE, PX EB, |X, A 
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PLE se ee 
二 
=Ec 5) pas") = Bo, PCB.) <1 
ales 
根据 Markov 不 等 式 ， 
pe eat ) a J pr (Oe ) i 1 
( PXD = t )= P( 7 ATE ES 2% logt, )< ty 
n—1 
对 概率 P(E ts ERMAR, A tr? FH D1 < o0, h Borel-Cantell 
0 一 co n 
引 理 即 可 证 明 结 论 。 口 
引 理 4. 2. 10 ”对 平稳 遍历 过 程 X， 
= Tlogp™ XSH” (4. 2. 32) 
= Llog Xs" DESH (4. 2. 33) 


证 明 K f=—logp(X, | Xi 和 f= —logp(X, | X24) JRA Birkhoff 遍历 定理 (参考 
文献 [36] 的 定理 9.1)， 从 而 导出 


ir = logp® CR = logp( Xt") 


ee < Ck) m sE (hk) 
= 2 logp (X,|X=>0+ H (4. 2. 34) 
All 
n-1 Sate. 
二 工 logp( xr | XL.) =— + ogp(X, |X) SH (4. 2. 35) 
n 1 i=0 


FE, 根据 引 理 4. 2.9 和 4.2.10， 有 


i Ai ACROSS i A a e a (k) 
lim sup n 8 OA y Slim n 8 SOX 5 H C4. 2. 36) 
且 
ma 1 1 ; 1 il = 
Sl iy oe Se hing CERTES 
nein n log pERE abe n log DLX UX L) = 
将 其 重 写 如 下 


tmnt T loge (Xs lineup Llog Xr) <H® (4.2.37)0 


引 理 4.2.11 对 任意 平稳 过 程 X, H®NH=H 
证 明 REPRE AMAIA, HANH 收敛 性 成 立 。 于 是 ,证 明 转化 为 H®* NH, 
即 互 三 豆 。 利 用 条 件 概率 的 Doob-Lévy Boe ET 
p(X, = x | X21) p(X, = a | KON), k — 00 (4. 2. 38) 
由 于 工 的 取 值 集合 是 有 限 的 ， 且 映射 pClO, ll plog AF, 4kooht, HARK 
定理 可 得 
H® = B— Yip Kom | XI ep Ro = zo | XI) 


xzoET 


+ Bl — Dp(X, = z |X-L logp(X, = x |X) = A Oo 
ry EI 
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4.3 Nyquist-Shannon 公式 


本 节 将 给 出 功率 约束 且 带 宽 受 限 的 连续 时 间 信 道 容 量 的 Nyquist-Shannon 73k 9 Ay y= 
类 推导。 其 结果 被 公认 为 是 信息 论 的 基本 事实 。 我 们 的 推 时 和 文献 [173]] 一 致 ( 有 些许 偏 
差 )。 由 于 该 推导 过 长 ， 我 们 将 本 节 分 解 为 许多 子 节 ， 每 个 子 节 分 别 解决 整个 过 程 的 一 个 
特定 步骤 。 

Harry Nyquist(1889 一 1976) 是 一 位 信息 论 的 先驱 者 ,他 和 Ralph Hartley (1888 一 
1970) 等 人 一 同 创建 了 信道 容量 的 概念 。 

基本 假设 如 下 。 设 r，x，z>0 为 已 知 数 ， 假 设 编码 器 每 = 秒 产生 一 个 实 编码 向 量 








其 中 n=『ar1。 所 有 由 编码 器 产生 的 向 量 x 位 于 大 小 为 M2 =e HEL =2,CR 中 。 
有 时 为 了 强调 M 和 ， 我 们 会 将 该 码 集 写 为 &w,。 将 多 中 的 编码 向 量 列 为 x(1)，…，xCNM) 
(顺序 随机 ) ， 其 中 








x(i) = l= i= M 
Takia 
将 编码 向 量 x 转化 为 连续 时 间 信 号 
att) = Si2si), OSt<e (4. 3. 1) 
i=1 


使 用 函数 由 (t)， i=l, 2 one (faw $; (t) dt E= Ôi ) 构 成 的 E,(0,7] 中 的 正 交 偏 置 ， 于 是 元 
Ax 可 写 为 积分 形式 
za [20 Wee (4.3.2) 


ARRE SIRA | eC) | 相关。 于 是 axl? =| w 1dt 二 D) a l 表示 在 区 间 
CO, CINSA, JEREMY ERNER EIRA MF IER 


lx]: <p 或 x € BCS pr) (4. 3. 3) 
(在 波导 理论 中 ， 将 维度 n PRA Nyquist &, W=n/(27)~a/2 为 信道 带宽 ) 。 
将 编码 向 量 x( 让 通过 一 个 加 性 信道 发 送 ， 接 收 端 得 到 (随机 ) 向 量 








Yi 
Y= | (4. 3. 4) 
¥. 
在 此 我 们 假设 
Za 
Z= |: 
Zn 








© 一 些 作者 在 Shannon-Hartley 定理 中 提 及 。 
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为 满足 ZNO, o) AAR ANA AY A. (在 实际 应 用 中 ， 为 了 表明 “ 白 噪 声 ” 过 程 
Z(z)， 通 常 将 其 表示 为 Z, = fzo pe 


我 们 定义 : Fx ODEL\B,C/pr), BMD >pr MHHAS MARY 是 不 可 解码 
的 。 换 言 之 ， 当 |x() 上 二 pr 时， 解码 输 出 向 量 了 二 x() 十 Z 的 概率 趋 于 0( 不 考虑 有 当 噪 
声 Z 很 小 ,输出 向 量 Y 以 一 个 确定 概率 接近 x(i) 的 情况 )，。 

KFW, “4 |x) |?’ <pr 时 ， 接收 端 对 输出 向 量 Y 使 用 解码 规则 4 Sdn), BIE 
Hye KHd(peXMH? KCR 为 “可 解码 域 ”( 当 映射 4 预先 定义 时 )。 换 言 之 ， 如 果 
YE 区, 则 可 用 d(Y)E 旨 解码 Y。 当 已 发 送 x(i)， 而 YF 区 或 4(Y7) 关 x(i) 时 ， 解码 错误 。 这 
导出 了 计算 对 输入 编码 向 量 x(i) 错 误解 码 概率 的 公式 : 

; 1, |x@|? > pe 
ag ie PY 4 KR dW) Axi) |xG) 发 送 )， [xD]? < pr eet 


Xt Ht OGL ERER P. =P? DELT 
P= Os P.(i,d) (4. 3. 6) 


IEAk, WER 0, AWE nl) >0, 使 得 对 所 有 的 >l), FEKDA ER ~ 
es 的 码 集 光 和 对 应 的 解码 规则 忆 满 足 P= P2 Cd) Ke, WER Ror (或 Re) 为 可 达 传输 速率 。 
信道 容量 C 定 义 为 所 有 可 达 传 输 速率 的 上 界 ， 参 考 式 (4. 1.17)， 由 4. 1 节 的 参数 可 导出 


C= 4in(it++ 2- =] Gn (4. 3.7) 


注意 到 当 a->co 时 ， 式 (4. 3. 7) MW ARIF p/ (20°). 

在 连续 时 间 信 道中 ，Shannon( 以 及 在 他 之 前 的 Nyquist) 提出 了 式 (4. 3.7) 在 带 限 信号 
中 的 应 用 。 更 准确 地 说 , 设 W=a/2， 于 是 下 式 给 出 了 对 频率 范围 [一 WW ，W] 且 单位 时 间 
功率 不 大 于 zp 的 带 限 信和 号 x (z)， 其 通过 方差 为 = 二 ofW 的 加 性 白 噪声 连续 时 间 信道 时 ， 对 
应 的 信道 容量 。 


C= Win(1+ 74) (4, 3. 8) 


该 命题 对 一 名 合格 的 工程 师 而 言 十 分 直观 ， 对 数学 家 来 说 ， 这 却 是 一 个 难点 。 该 命题 需要 
一 些 技术 方面 的 讨论 来 证 明 它 的 有 效 性 。 用 工程 师 的 语言 来 说 ， 一 个 满足 式 (4. 3.1) 在 
[0, J 中 的 “理想 ” 正 交 系统 是 一 个 n~2Wr PEDO 函数 的 集合 。 换 言 之 ， 将 编码 向 
Er) =C li), +, nOD RR AARE cE lO, IHABRH AM f(D 

fit) = D 2 @a(t— sa) (4. 3. 9) 


1<k<n 


Hp n=[2Wr 1( 且 a 二 2W)。 这 里 6 表示 在 时 间 0 附近 的 “ 单 脉 冲 ”， 其 图 像 就 是 在 c= 0 附 
近 的 一 个 “ 单 峰 ”。 于 是 6(t 一 k/2WW) 表 示 移 位 函数 ， 其 为 :二 k&/2W 附近 的 脉冲 ，f;(z) 的 
函数 图 像 如 图 4-4 所 示 。 
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可 以 认为 ， 编 码 器 每 隔 co BAD OORA FE-PE BY BAB A Sa I, i 后 得 到 
的 。 此 外 ， 在 每 个 长 度 为 + 的 时 间 内 ， 峰 值 x, (i)6(t 一 k&/2W) 每 隔 时 间 1/2W 取得 。 这 里 
6(t 一 k/2W) 为 时 间 移 位 Dirac 函数 。 
问题 在 于 ，6(?) 是 一 种 “概念 上 的 函数 ”， 且 86K, 。 该 问题 的 一 种 解决 方法 是 ， 将 信 
号 通过 一 个 低 通 滤波 器 。 于 是 FO = fw ORR AOF 
FO = >) 2,@)since(2We k) (4. 3. 10) 


Is 


这 里 


sind 2WE = ay = ne (4. 3.11) 
为 对 归 一 化 sinc 函数 进行 移 位 和 放 缩 后 的 函数 ， 归 一 化 sinc 函数 如 下 
| sat 0 
sinc(s) = TS sE R (4. 3. 12) 
es s=0 
函数 图 如 图 4-5 所 示 。 
K(t-s) 





图 4-5 
在 现代 计算 机 图 形 学 和 数字 信号 处 理 的 其 他 领域 中 ， 移 除 高 频 谐 波 ( 或 者 说 ， 高 频 部 
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分 ) 并 将 信号 f;(2) 兰 换 为 它 的 (近似 ) 低 频 版 本 FO 的 方法 得 到 了 广泛 应 用 。 
例子 4.3.1 CE, 中 的 Fourier 变换 ) 一 个 可 积 函 数 Y | | d(x) | dx <+ co) 的 Fourier 变换 
o> F$ 定义 如 下 


LF¢ |(w) = [ere deve ER (4. 3. 13) 
其 道 Fourier 变换 可 写 为 道 映 射 如 下 
CF ¢](x) = P| Bode des (4. 3.14) 


值得 注意 的 是 ， 可 以 将 式 (4. 3.13) 和 式 (4. 3.14) 扩 展 用 于 均 方 可 积 函 数 $ € LR |? = 
[1829 | qz <H ea). 在 此 我 们 不 作 深入 探讨 , 感 兴趣 的 读者 可 参考 文献 [127] .此 外 ,在 许多 
应 用 中 ,Fourier 变换 极 具 作用 .例如 , 设 F$ = f, F $= p, MRC. 3. 13) 和 式 (4. 3. 14) 可 得 


g(x) = =| ilo) dw (4. 3. 15) 
Idh, SFE IE TIT BT Ree, h EL (R)， 有 
2n| (2) kada = iB erate (4. 3. 16) 


另外 ， 也 可 以 对 一 般 函 数 定义 Fourier 变换 ， 参 见 文献 [127]。 特 别 地 ， 对 于 delta HR, 
类 似 于 式 (4. 3. 13) 和 式 (4. 3. 14) ， 有 


a(t) = ple deel = Jacedet ae (4. 3.17) 
2n 
这 说 明了 Dirac delta 的 Fourier 变换 为 6(w) 三 1。 对 于 移 位 delta 函数 ， 可 得 
a ae | eee 
a(t- )= He eu dw (4. 3. 18) 


当 信道 加 上 一 个 “去 除 ” 所 有 谐 波 es 的 “滤波 器 ”时 ，Shannon-Nygquist 公式 成 立 ， 其 
wy 为 在 区 间 [ 一 2r 友 ，2rW] 之 外 的 频率 。 换 言 之 ，(4. 3. 18) 中 的 ( 移 位 ) 单 位 脉冲 SG 一 
k/(2W)) 被 它 的 截取 之 后 的 形式 所 代替 ， 当 滤波 器 去 除了 |w| 二 2xW 的 所 有 谐 波 e “该 脉 
冲 才 产生 。 

当 我 们 把 式 (4. 3. 17) 中 的 w 的 区 间 缩 减 到 [一 +*，xj， 则 出 现 了 经 典 的 sinc 函数 (应 用 
数学 中 的 著名 函数 ): 


sinc(t) = +f e™ dws lir lw) = [sinctedetde, tw E R (4. 3. 19) 
vid — 


(象征 性 地 ，sinc= F-i1 。j。) 在 未 文中 ， 当 A 之 0 充分 大 时 ， 可 将 函数 1 路 Asinc(A1) 看 
作 是 8(4) 的 简单 近似 。 通 常 ，sinc(1) 在 整个 及 上 是 不 可 积 的 (由 于 因子 1/t)， 但 它 仍 是 均 
方 可 积 的 : | Cine de< oo ， 因 此 式 (4. 3. 19) 的 右 式 应 理解 为 上 ,下 的 情形 。 

然而 ， 这 并 没有 让 该 理论 在 数学 和 物理 方面 显得 更 简单 (和 工程 视角 相 比 )。 实 际 上 ， 
上 面 所 考虑 的 将 不 需要 的 谐 波 完全 去 除 的 滤波 器 在 物理 上 是 无 法 实现 的 。 即 使 有 这 种 完美 
的 器 件 ， 我 们 所 得 到 的 信号 (1) 也 不 再 是 时 间 受 限于 [0，] 的 信号 ， 而 是 分 布 在 整个 时 
间 轴 上 的 函数 。 为 了 克服 这 个 难点 ， 需 要 做 进一步 地 近似 。 
举例 4.3.2 ”证明 函数 

tC? /xW )sinc(2Wt — k) sk = 1,.…,n (4. 3. 20) 
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E E,CR') 48 (A FETE ZC, B 
(4xW) |[sine(2W1 — k) |[since(2Wt — k’) Jdt = dy’ 
解答 ”最 简单 的 方法 是 由 (4. 3.19) 写 出 其 (在 上 上 ,(R) 中 )Fourier 分 解 : 


2xW 
2 /xW sine(2Wi — k) = 5 1 == | ye ede (4. 3. 21) 
VT = 
然后 检查 该 Fourier 变换 对 应 的 函数 是 正 交 的 。 
1 








2 Saw lo ORW em 
即 
d E. ibe eit Hal du = By, (4. 3. 22) 
AxW J -2.w 
其 中 
1, k=k’ 
> T BAR 


为 Kronecker 符号 。 根 据 标准 的 积分 过 程 可 验证 式 (4. 3. 22) 。 
因为 式 (4. 3. 20) 中 的 函数 是 正 交 的 ， 所 以 我 们 得 到 


2 3 a ee a = fi F: |? de (4. 3. 23) 
其 中 广 ERG. 3. 10) 中 已 说 明 过 。 于 是 ， 功 率 约束 可 写 为 
| Ff: |? < pe/4xW = po (4. 3. 24) 


实际 上 ， 参 数 x, OMAR FEA R/CQW), R=1, =, n HABAR F, CW) AB 
一 致 ， 这 些 点 可 以 看 作 是 采样 点 。 
因此 ， 虽 然 输 入 信号 f,(?) 完 全 由 值 f,(k/(2W)) 二 zi (让 确定 ， 但 仍 可 将 其 视 为 连续 
时 间 上 的 信号 。 于 是 ， 考 虑 在 不 同时 间 区 间 (0，z)，(z，2zr)，… 产 生 的 信号 ， 在 忽略 
sinc(1) 函数 的 末端 产生 的 干扰 后 ， 通 过 他 们 在 采样 点 的 取 值 可 清楚 地 将 其 识别 出 来 。 
Nyquist-Shannon 假设 如 下 ，f;(t) 在 信道 中 转换 为 如 下 形式 


g(t) = f,O+ZM (4. 3. 25) 
这 里 Z(7) 为 一 个 零 均 值 (EB Z (1) =0) HE SENT E Gauss 过 程 ， 其 自 相关 函数 为 
EL Z(s) Z@+ s)] = 20 Wsinc(2Wt),t,s € R (43.26) 


特别 地 ， 当 1 为 x/W 的 整数 倍 时 ( 即 上 和 采样 时 刻 重合 ) ， 随 机 变量 Z(*) 和 2Z (十 s) 是 相互 
独立 的 。 该 条 件 的 一 种 等 价 形式 为 ， 频 谱 密 度 满足 


Pw): = feet Zo) Z(t) ldt = 6 1(|w|< 2nW) (4. 3. 27) 
可 以 看 出 ， 接 收 到 的 连续 时 间 信号 >(?) 可 以 通过 下 式 得 到 对 应 的 值 = y (7 ) 从 而 识别 
出 来 
ye = 1) +25 Ze = Z (spp) RBLMAA NCO, 205W) 


这 和 4.1 节 考 虑 的 p= 二 2Wpo， 二 2ofW 的 系统 相 一 致 。 在 工程 界 ， 系 统 容量 C 由 
式 (4. 3. 8) 决 定 ， 即 低 于 该 容量 的 传输 速率 是 可 靠 的 ， 反之 是 不 可 靠 的 。 
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然后 ， 为 了 深入 理解 式 (4. 3. 8)， 还 有 一 些 待 解决 的 问题 。 其 中 一 个 问题 是 ， 只 有 理 
想 的 滤波 器 才能 将 信号 限制 于 一 个 特定 频段 肉 。 另 一 个 问题 是 ， 由 于 具有 形式 


t € RH > (a, (i) + &)sine(2Wet — k) (4. 3. 28) 


1<kn 

的 任意 采样 函数 在 上 上 是 解析 的 ， 所 以 可 以 通过 在 一 小 段 时 间 区 间 内 记录 下 式 (4. 3. 25) 
的 输出 信号 g (已 后 再 重 构 出 来 。 因 此 ， 速 率 这 一 术语 需要 恰当 的 定义 。 

最 简单 的 解决 方式 (在 文献 [173] 中 提 到 ) 是 引入 满足 下 列 条 件 的 函数 族 gf (tr，W ，po) 

G) 在 单位 时 间 ( 一 秒 ) 内 带宽 近似 受 限 于 W. 

Gi) 时 域 上 的 长 度 为 r( 为 了 方便 ， 可 将 其 设 为 [一 rz/2，r/2])。 

GD 总 能 量 ( 由 £; (R) 范 数 定义 ) 不 超过 por. 

这 些 条 件 构 成 了 系统 的 约束 。 

然后 ， 考 虑 大 小 为 M 一 时 的 编码 多， 即 以 时 间 :为 变量 的 函数 FL). os Fy COBY 
集合 。 如 果 给 定编 码 函数 ff (tz，W，po)， 则 称 其 为 不 可 解码 的 ， 对 应 的 错误 概率 为 
1。 否 则 ， 信 号 f EAL, W, p) MYA EZ()=0 且 满 足 (4. 3. 27) 的 加 性 Gauss 噪声 
Z(t) 在 信道 的 输出 端 构 成 了 输出 信号 gO = f+ Zo) (参考 (4. 3.25))。 接 收 端 使 用 解 
码 规则 4d， 即 映射 d:-K- 2B, HP KAZ d 的 定义 域 ， 即 定义 映射 也 的 一 些 函 数 族 。 
(和 之 前 一 样 ， 解 码 规则 d 可 能 随 着 编码 的 不 同 而 不 同 ， 即 d=d? .) ae, Ae EK, 
则 认为 该 传输 出 错 。 最 后 ， 如 果 gE€ 工 ， 则 由 编码 函数 dd (g)(DOE 多 对 接收 信号 g 进行 解 
码 。 当 编码 器 产生 的 编码 信号 为 EK, REOX RRR H 


15 fi € AtW, po) 
P.(i) = i A. 总 (4. 3. 29) 
Pal K U (g:d* leg) A Ne Ff; E lW po) 
iL AAE d) 的 平均 错误 概率 P= PZ" (dA 
1 : 
P= Sy Pea) (4, 3. 30) 


如 果 对 于 任意 的 e>0， 存 在 r MADAMA HRD, 使 得 P.<e, WH RS Roa HA 
靠 传输 速率 。 

现在 , 设 JE (0，1) ， 函 数 POWMRASG, W, p=HA lr, Ws por pe LMF 

OMPM=D.f, 其 中 

Df) = f@1C|t|< 7/2),tE R 

其 中 f(y | e f(a) det W Fourier MH, AAR |w|>2cW ÉF 0。 

Gi) k {Ë 

E>- 

Git) HEB |? <por. 

换言之 ， 发 送信 号 PEA a, Ws po» pE Rt ME HZ BR A TE a LUT WL i SE 
受 限 。 
在 受 限 情况 下 ， 根 据 一 些 推论 可 以 得 到 Nyqiust-Shannon 公式 。 最 简单 的 形式 为 下 述 
的 定理 4. 3.3。 另 外 一 种 形式 将 在 稍 后 的 定理 4. 3.7 中 说 明 。 
定理 4.3.3 受 条 件 (i)-(iii) 所 描述 的 gL (tr，WW，po， 四 约束 的 信道 对 应 的 信道 容量 C= 
C() 40 F 
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c= Win(1+ 5 mids yE d (4. 3. 31) 
T=- 


随 着 7 一 0， 有 





Ca) + Win(1+ zA) (A. 3. 32) 


从 而 导出 了 式 (4. 3. 8) #4 Nyqiust-Shannon AÑ. 

在 深入 技术 细节 之 前 ， 我 们 先 讨论 关于 -个 时 间 离 散 Gauss 信道 的 乘积 ， 或 者 说 是 其 
并 行 组 合 的 一 些 事实 。( 本 质 上 ， 该 模型 已 在 4. 2 节 的 末尾 讨论 过 。) 这 里 ， 输 入 信号 每 隔 r 
个 时 间 单 位 产生 ， 其 向 量 的 排序 集合 如 下 


cj) 
xy’ 


Lig), ate, id SRO ERi1<j<r (4. 3. 33) 
2? 


H mf aye ] 中 的 w 为 给 定常 数 ( 编 码 j 的 数字 乘积 的 速度 )。 对 每 个 向 量 x”， 考虑 特定 的 
功率 约束 : 








[x <pP rl <ic<r (4. 3.30 
输出 信号 为 随机 向 量 的 集合 
y” 


(YY eY o Rp Y? = 和 (4. 3.35) 








: y 
其 中 ZP 为 IID 随机 变量 ,ZY 一 NC0, o” ), 1<k<n;, 1<j<r. 
对 于 乘积 信道 来 说 ,信息 率 为 R 的 码 本 儿 是 一 个 M 进 制 的 输入 信号 
P CY Anca I 
Sandee ae) 4.3.99 
Ce" CM) 5 eg ee CD): 
每 个 都 和 式 (4. 3. 33) 有 一 样 的 结构 。 如 之 前 所 述 ， 解 码 器 d 是 一 个 作用 在 样本 输出 信号 
(P, e, VO } 给 定 的 集合 区 K 上 的 映射 ， 并且 该 解码 器 将 这 些 信 号 映射 到 性 中。 
如 上 所 述 ， 对 于 i 二 1，…，M， 当 发 送 一 个 输入 信号 {x O, e xPO RA 
为 码 绝 定义 一 个 错误 概率 P,G, d) 
OFA j=l, oy ry [xP @ Spr RA 那么 P,(i，d)= 二 1， 而 如 果 对 于 
fHle vy ry [x°@|?<p r MIL, HA 
P.Gi,d) =Pa (YY 5°, Y°?} EK 或 
人 
{x Gz) sax CY E 
BA CHEART d 时 ) 的 平均 错误 概率 P, = PZ" Cd) h FRA 


和 通常 情况 一 样 ， 如 果 对 于 所 有 的 >o 都 存在 一 = o> 0, 使 得 对 于 所 有 to > 0 都 存在 一 
个 势 为 M 一 晤 的 码 光 和 一 个 解码 规则 4 使 P.<e 成 立 ， 那 么 称 尺 是 一 个 可 靠 的 传输 速率 。 
定义 联合 信道 的 容量 为 所 有 可 靠 传输 速率 的 上 确 界 。 下 面 的 定理 在 例子 4. 2.7 中 给 出 ( 参 
考 文献 [173] 引 理 A; 同 见 文献 [174])。 
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引 理 4. 3. 4 乘积 信道 的 容量 等 于 





2. ay p? 
E= a In(1 has (4, 3. 37) 
此 外 ， 当 一 些 w 等 于 十 ee 时 ， 式 (4.3.37) 成 立 ; 在 这 种 情况 下 ， 相 应 的 被 加 数 形 式 是 


pei Bore 

我 们 下 一 步 考虑 时 间 离 散 Gauss 信道 的 联合 约束 乘积 。 下 面 我 们 讨论 联合 约束 的 
类 型 。 

情况 1 令 r=2, BE =o, A PARRA. 3. 34) 


[xP [2 x |? < por (4, 3. 38a) 
此 外 ， 如 果 aKa, RISIA BE (0，1)， 使 下 式 成 立 
x2 < pfx [P+ fx? > (4. 3. 38b) 
另 一 种 情况 ， 也 就 是 科 ai ， 用 下 式 代 替 式 (4. 3. 38b) 
x]? < pox |? + x |*) (4. 3. 38c) 
情况 2 这 里 我 们 让 r=3, HBE of =o S03, a= too, FE FAM 
>) |x? |? < por (4. 3. 39a) 
1<j<3 
以 及 
|x |? <P, |x? |? (4. 3. 39b) 
<j< 
情况 3 和 情况 1 中 一 样 ， 令 r=2, RE o =o So. FE 三 十 5。 限 制 条 件 现 
在 是 
|x |? < por (4. 3. 40a) 
以 及 
fat? fie BC |e lH") (4. 3. 40b) 


举例 4. 3.5 〔〈 套 见 文 献 [173] 定 理 1) 证 明 下 面 给 出 的 容量 就 是 上 述 情况 1 一 3 中 联合 平 
行 信 道 的 容量 。 
情况 1 aSa: 








— a1 C—O) po), a2 Epo 
e In(1+ =a 六 : m(t) (4. 3. 41a) 
其 中 
= i a2 
c min| 8,— T ] (4. 3. 41b) 


如 果 oz 和 aa， 那么 下 标 1 和 2 需要 在 这 些 等 式 中 互 换 位 置 。 此 外 ， 当 ato, RAR 
RAIA lim (a/2)InC1 +0/a) = 0/2. 特别 地 ， 如 果 m1 二 qs 二 十 oO， 那么 8 一 5， 并 且 容 量 


KA 





C= Sin(14 TPs + p Be | (4. 3. 410) 
0 


2 
a, do 
这 意味 着 ， 当 在 信道 2 上 注入 的 能 量 等 于 (4. 3. 38b) 中 所 允许 的 最 大 能 量 时 ， 我们 可 以 得 
到 一 个 最 好 的 传输 速率 。 
情况 2 





— il | (1— Ppo 
G In(1 eres 


420 


421 
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az G—B)po \y Bp 
ch. a ares ee )+ = (4. 3. 42) 





情况 3 
TE aS Po Bpo 
CAG In(1+ £ }+ 21 — pet 


解答 “我 们 现在 只 给 出 情况 1 的 证 明 。 为 了 明确 起 见 ， 我 们 假定 a <a,<t+eo, HH. 给 
出 主要 的 部 分 。 考 虑 两 信道 的 并 联 组 合 ， 其 中 p50- ppi p= gp, RER A A 
信和 号 分 别 为 x” 和 x : 


(4, 3. 43) 


fx? > < pir, xO]? < por (4. 3. 44a) 
当然 ， 式 (4. 3. 44a ABR. 3. 38a), HH, MR ESA MARE C4. 3. 38b) 也 是 成 立 
的 。 根 据 引 理 4. 3. 4 AES), EME R<C,(p,) HC C WR R MET EA. A 
下 所 述 ， 
Cig) = Fin(1+—4), 1=1,2 (4. 3. 44b) 
这 就 意味 着 命题 正 向 可 证 。 
证 明 逆 命题 是 一 个 更 长 久 的 争论 。 集 合 C* =C) tC: (ps)。 目 标 是 证 明 任 何 R> 
C* 都 是 不 可 靠 的 。 我 们 假定 一 个 相反 的 例子 : 存在 一 个 可 靠 速 率 R=C’ +e; 让 我 们 回忆 
一 下 它 正式 的 意义 。 也 即 存在 一 系列 值 r* 一 2 和 (a) 一 系列 由 “联合 ” 码 向 量 x(i) 二 {x 
Ci), x? (办) 组 成 、 大 小 为 M ~et” Hi 
E = te) em TL Mw} 
A A ER S DPS xO DIP + |x? (用 。(Cb) 一 系列 解码 映射 Co :， ye KPH 
dP (yy EX 使 得 P.O, XH, MATAR, P.=P2Z "(dd ) 代 表 平均 错误 概率 ; 


P, = iw DAE N 


i<i<m? 
它 是 由 各 自 的 错误 概率 P.(i，d"” ) 计 算得 出 : 
l, 
i wR |? > por” RE xP DD 二 Blxc2D |’ 
Pa (Y ¢ 区 ?或 者 d” O) 关 x( 让 |x(i) RŽ), 
Rx? < por? Ax? @ |? < plo |? 
分 向 量 
Mr af) 
xd = 2 Rl 1 fo xP G) = Z pe” 














he, <7 ( i) 
在 并 行 - 信 道 联合 的 各 自 部 分 上 发 送 ， 得 到 的 输出 向 量 
YF 


Zhe D1 ( i) 


Yi (a) 
y? = € Ria fa YP = € pe” 














YED] (i) Yi (i) 
生成 一 个 联合 输出 信号 了 一 (72 ，Y2” ) 。Y2 ，Y2 向 量 的 元 素 是 下 面 的 和 

YP = aP HZP YP = 2 @+ZP 
其 中 Z;” 和 Zk ERa NO, o EER AHH, Pa tE AIE OLE E YS” 
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和 了 Yi 的 联合 分 布 ， 其 中 Ij ar], 1<k<[ ar” 
可 以 看 到 gryCi(o) 在 [0， 加 ] 上 是 关于 4 均匀 连续 的 。 因 此 ， 我们 可 以 找到 一 个 足够 
大 的 整数 Jo 使 得 对 于 所 有 的 gE O, kpo), WA FARSE 








[awc (a— #2) <$ 
RBA EEL DWA Jo ROZ , j=1, =, Jo: ME 
Gh ae ae MAR Og Fe (4. 3. 45a) 


k<Jay 2? ] 
则 码 向 量 (x O, x? OMKER h. AWW ERH BAR x 有 一 个 分 量 x@ Hep 
jx? [<ç | xl’, SORA x 落 在 且 仅 落 在 一 个 集中 。( 我 们 约定 零 码 向 量 属于 多 1 ) 
用 多 >” 来 表示 包含 最 多 码 向 量 的 集 &;” . RE. WHR, HV? >M?/J, HEM? 的 
传输 速率 满足 
R. > R=]. (4. 3. 45b) 


TAH, FOL! 最 大 误差 概率 小 于 等 于 整个 码 的 最 大 误差 概率 .%c ( 当 使 用 同一 译 
WE d”); 因此 ， 误 差 概率 PZ" (dP <P +0, 

BAZ” By WEA So 个 集 ， 我们 可 以 至 少 找到 一 个 j。€ (1, =, Jo REM FIG 
穷 多 的 2/， 有 最 多 的 集合 光 、。 满足 和 有 7 一致。 将 我 们 的 自 变量 减 到 1， 我 们 可 能 假定 对 
于 所 有 的 1 都 有 多 。 =K, O. Ra, MERAH, EB’, Hep 


元 这 








通过 式 (4.4. 38a) 和 式 (4. 3. 45a) 
x | a (1 ms “一 8) par” yx? |? < Pope” 
RE. (ZO, d )} 对 于 “标准 的 ”并 行 信道 组 合 是 一 个 编码 / 译 码 序列 (参考 
式 (4, 3. 34))， 其 中 
pi E OF tp, Po = bp, 


iD s 


当 错 误 概率 p? n (dO) 时 ， 速 率 R 对 联合 信道 来 说 是 可 靠 的 。 因 此 速率 的 值 不 超过 容量 。 


b SWE 3 Jo§ 
e <a (i =P) p, ls) 
接 下 来 ， 我 们 参考 在 式 (4. 3. 44b) 中 给 出 的 C;(w 的 定义 ， 也 就 是 说 
R" E — 8) O + (4, 3. 46) 


其 中 O=jot/Jo~ 
HE, 我们 可 以 注意 到 对 于 过 ， 函 数 
> Ci CA — e) po) + Cz po) 
4 6<az/(ai 十 gs) 时， 是 关于 6 的 增 函 数 ， 当 6>>as/(ai 十 as) 时 ， 该 函数 为 减 函数 。 
因此 ， 根据 $ 王 jz/ Jo KE, 我 们 可 以 得 到 
Cı (C1 — 8) po) + Cdpo) < Cilp +C: lp) = C* (4. 3. 47) 


424 
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280 RAZ 





HP g= min[ p, a/(a +a) |. AR, AERA ANAA XH A. 3.45b), 4.3.46) 和 
3 (4. 3.47), BA 


R<C’ ae a RR<C FE 当 Po 
5 R=C* +e 矛盾 ， 即 逆 命 题 得 证 。 口 
例子 4. 3. 6 ( 扁 长 椭 球 波 函 数 (PSWF)， 见 文献 [146]、[L90]、[91]) 对 于 任意 给 定 的 t，W 二 
0， 都 存在 一 系列 属于 Hilbert 空间 Le (O (也 就 是 说 满足 [y, (0 dt < co) HF 1€ 及 的 函数 
W(t)，W(t)，…， 这 些 函 数 被 称 为 扁 长 精 球 波 函 数 (PSWF)， 有 以 下 特性 
(a) Fourier 变换 W, Cw) = | wet de HE [u| >2nW NAS; FFA, PY, (0 生成 一 


个 Hilbert 子 空间 中 的 正 交 基 ， 该 子 空间 由 满足 这 个 特性 的 上 £; CR) PY) PE Ro 
(b) 函数 Wi): SP, (2)1(|t| 过 tz/2) (W(t) 定义 在 (一 rt/2，t/2) 区 间 上 ) 是 两 两 正 
交 的 ， 
[mow'wa = | wow, wae =0, nn (4. 3. 48a) 
并 且 ， 和 (在 Eo( 一 t/2，zt/2) 上 生成 了 一 个 完整 的 系统 : 如 果 对 于 所 有 的 n=l, BA 
PEE 2/2, DWE S gC),CDdt = 0, BARE Ex(—t/2, 2/2) E gle) =0. 
(c) 对 于 所 有 的 n=1 MER, MR 亚 , (2) 满 足下 式 


t/2 
W(t) = 2w | „Ya (s) sine(2W(t — 5)) ds (4. 3. 48b) 
—r/2 


就 是 说 ,函数 VC) 是 积分 算 子 prt] p(s KG ,5)ds 的 特征 函数 (特征 根 为 4,) ,积分 核 


K(t,s)= 1(|s|< r/2) (2W) since(2W (t — s)) 


sin(2xW (t — s)) 


= 1(|s|< c/2) Peni 


Cd) 特征 根 4 满足 下 面 的 条 件 
Hi SaS a 0N A= az G)’ de 


=) 8 & TT/ 


可 以 明确 地 给 出 一 个 等 价 的 方程 ， 其 中 包含 Fourier 变换 [Fw*](w) 二 [Werd: 
ape | LEW, Jw) |? do/ ing (PG) | dt = a, 
这 意味 着 A, 给 出 了 对 于 截断 函数 WA RME” Ro 

Ce) 可 以 验证 函数 亚 , (2)( 以 及 特征 根 4,;) 取 决 于 W 和 t+， 且 仅 与 二 者 的 乘积 Wr 有 关 。 

并 且 ， 对 于 所 有 的 9E (0，1)， 因 为 Wr 一 co， 有 
Apewa > 1 和 pwa > 0 (4. 3. 48c) 
也 就 是 说 ， 对 于 足够 大 的 z， 大 概 有 2Wr 个 4, 接近 1, RP UO. 

这 个 正在 探索 的 推论 中 很 重要 的 一 部 分 是 Karhunen-loève 分 解 。 假 定 Z(t) 是 一 个 
Gauss 随机 过 程 ， 其 谱 密度 由 式 (4. 3. 27) 给 出 。Karhunen-loéve 分 解 定 义 了 对 于 所 有 的 
tiE (一 rz/2，zr/2)， 随 机 变量 Z(z) 都 可 以 被 写成 收敛 级 数 ( 在 均 方 意义 上 收敛 ) 

Zt) = SJA,W,() (4, 3. 49) 


其 中 w(t), W(t), -EET 4. 3.9 中 讨论 的 PSWF, 而 Ai, A, Æ IDD 随机 变 
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E, 并且 满足 A, ~N, A), HPA, 是 对 应 的 特征 根 。 等 价 地 可 以 写 出 Za) = 
D VCD ， 其 中 总 一 N(0，1) 是 IID 随机 变量 。 


该 证 明 超 出 了 本 书 的 讨论 范围 ， 有 兴趣 的 读者 可 以 参考 文献 L38] 或 L103]，144 页 。 

关于 定理 4. 3. 3 中 证 明 的 思想 将 在 下 面 说 明 。 给 定 W Mr Aa W dos PPIH 
M&S s(t) TW UE PSWE Y, 被 表示 为 一 个 Fourier 级 数 的 形式 。 在 这 个 级 数 里 ， 前 2Wr 
AY BTM BAR Ze BR hil CE a Sa ais FEW 和 时 域 士 [/2 上 的 部 分 信号 。 相 似 地 ， 噪 声 实现 ZG) 
在 函数 Y, 级 数 上 被 分 解 。 离 散 时 间 信 道 的 作用 体现 在 两 个 联合 约束 离散 时 间 Gauss 信道 
的 并 行 联合 。 在 信道 1 中 处 理 信 号 分 解 中 前 2Wr 个 的 PSWF， 并 且 oi =2W. fai 2 接 到 
展开 式 中 剩余 的 部 分 ， 并 且 a 二 十 ceo。 功率 约束 上 |* 志 por 引出 了 一 个 联合 约束 ， 即 式 
(4. 3. 38a)。 男 外 ， 这 也 就 有 了 这 样 一 个 需求 ， 即 分 配 在 频带 限制 士 2xW 或 时 间 限 制 士 t/2 
外 的 能 量 要 小 一 些 : 这 就 引出 了 另 一 个 功率 约束 ， 即 式 (4. 3. 38b)。 在 情况 1 中 应 用 例 
子 4.3. 5， 就 可 得 出 定理 4. 3. 3。 

为 了 让 这 些 想法 更 精确 ， 我 们 首先 推导 出 定理 4. 3.7， 它 给 了 一 个 其 他 的 方法 来 得 到 
Nyquist-Shannon 公式 (公式 更 复杂 ,但 证 明 稍 微 简 单 (但 仍然 很 元 长 ))。 
定理 4.3.7 下 面 考虑 定理 4. 3. 3 中 模型 的 修正 。 存 在 一 组 由 函数 ERGs OAAR 
PM HAF A Ws pos p> TURF 


í) Isl? =| hatid pee 
(2) l lol > 2nW Bt, Fourier REFS (wo). = [sce ai HE, 


(3) 比值 | | s(t) | ae/ ls |)? = Use 7 也 就 是 ,函数 5 E A (tW spo ,7) 在 频 域 上 是 “ 严 


格 带 限 ”的 ,在 时 间 上 是 “近似 局 限 ” 的 。 

嗓 声 过 程 是 Gauss 的 ， 其 中 当 |w| 盖 2rW 时 ， 频 率 密度 为 零 ， 而 当 |ow| 委 2rW 是 频率 
密度 等 于 ci 。 

那么 这 个 信道 的 容量 为 








C=C, = Win(1+( ahh tee (4. 3. 50) 
因为 70, 
0 
C, 一 wmnl 2 w) 
可 得 出 Nyquist-Shannon A Ñ (4. 3. 8). 
证 明 首先 ， 我 们 证 明正 向 证 明 部 分 。 
nh vr EA (4. 3.51) 
0 
SEO, 1), EEO, miniy 1—y)) 4 R 仍然 小 于 
C = Wa —ayin(1 + Soa Oho), GO ho (4, 3.52) 
3W (1 — 6) 20? 
根据 举例 4.3.5, C 是 并 行 信道 的 联合 约束 离散 时 间 对 的 容量 ， 如 情况 1， 满 足 
ai = 2W(1— 0),as 二 十 ,8 三 y Enp = bosd = oo (4. 3. 53) 


参考 式 (4. 3. 41a). RETEA HY Vin) E Se fs HL HE A I, OO EE A AB HT 
近 错 误 消 失 概率 。 离 散 时 间 信 道 参数 由 式 (4. 3.53) PA, MBE, x ) 是 对 于 该 离散 


426 


427 


282 RAF 





fei SET I — EA A Ae S TE Se A EF — RAW, 1) h PSWF: 
c= SS Petty er a@ (4. 3. 54) 


1<k<[a, r] l<k<co 
需要 验证 的 第 一 件 事 是 式 (4. 3. 54) 中 的 信号 属于 os (cr, W, po» p), HB, WEE 
理 4. 3.7 中 的 条 件 (1) 一 (3) 。 
为 了 验证 特性 (1) ， 记 


[l= GaP Da = be + D2 < por 


1<k<fa, r| 1<k<% 


然后 ， 信 号 s( 四 是 带宽 受 限 的 ， 并 且 继 承 了 PSWFY; (i) 的 特性 。 所 以 ，(2) 成 立 。 
确定 特性 (3) 需 要 更 多 相关 的 参数 。 因 为 PDWEF YW() 是 在 上 (一 t/2，t/2) 上 正 交 的 ， 
并 且 通 过 值 4, (参考 式 (4. 3. 485)) 的 单调 性 ， 我 们 可 知 


r/2 z h 
if : | sz) |?dt/ |s|? = | —D,)s| 
一 到 名 à 


Isl? 


r (Ag) Cay? * > Anta) Cal? )* 
Alaje a px? |? E x + xe |? 





SRNE 


| tD) || 2 fa |? 
现在 ， 随 着 rz 一 ce， 值 Mi]1( 见 (4.3.48c))。 满 足 | xz 2/7 Cx |? + |x P< 时， 
对 于 足够 大 的 r， 下 式 成 立 


= (LAR) 


(1) |} 2 


(1 Ne, 1) [x PF [x P <Ê 
然后 ， 比 值 |z2 pdx |? + |x OKERRA. 3. 38b)) 。 最 后 得 到 








T12 = 2 
1—[" olal = Lo Post <ety—-€=7 
也 就 是 特性 (3 ) 。 
并 且 ， 噪 声 可 以 根据 Karhunen-Loeve 扩展 ， 
Za) = DS) ZPWMO+ Dy Zw Hael (4. 3.55) 
1<k<Jqy r] 1<k<% 
XE, VORE PSWF 和 UD 随机 变量 ZW ~NOO, A). FAR, MHS A WIG 
YO ») ¥Pw@+ D) YP Puna (4. 3. 56) 
1<k<Ja, r] l<k<co 
其 中 
| (4. 3. 57) 


所 以 ， 连 续 时 间 信 道 等 价 于 联合 约束 并 行 组 合 。 正 如 我 们 验证 的 ， 容 量 等 于 在 式 (4. 3.52) 
中 确定 的 C* 。 所 以 ， 对 于 R 二 C* ， 我 们 可 以 建立 速率 为 R 的 码 和 使 得 错误 概率 趋 近 于 0 
的 解码 规则 。 
相反 地 ， 假 设 存在 一 个 序列 ?一 co ， 一 系列 在 (1)-(3) 中 描述 的 可 达 域 gf G, W, 
po，7") 和 一 系列 大 小 为 M=[ ew WBO, Ep 
Gl = #7) Bo 0 
wii poe 
和 通常 情况 一 样 ， 我 们 希望 证 明 错误 概率 P, 二 PZ “(dW ) 不 趋 近 于 0。 
和 之 前 一 样 ， 我 们 令 SEC, 1), EEO, 1—y) Ama R>C*, Hep 
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x Co ë te wil, 
E W(I+ala(1 十 一。 -0 WITH E E 


那么 ， 正 如 在 正 向 证 明 部 分 中 的 论证 一 样 ，C" 是 类 型 1 信道 联合 约束 并 行 组 合 的 容量 ， 其 中 


B= TE = p= Porm = 2W1+8) 102 =+ 00 (4. 3. 58) 


®sDNEL NAP. WW，po，7 ) 为 一 个 时 间 连 续 的 码 函 数 。 因 为 PSWFYW(z) 生 成 
一 个 £,(R) 中 的 正 交 基 ， 我 们 可 以 分 解 


2 = en E R (4. 3. 59) 


1<k<[arr 1 ES 
我 们 想 证 明 在 式 (4. 3. 38a 一 c) 中 所 说 明 的 类 型 1 联合 约束 并 行 组 合 中 ， 离 散 时 间 信 号 (x ，x2 ) 
代表 了 一 个 符合 规则 的 输入 信号 。 根 据 (B® 中 PSWF WW (2) 的 正 交 性 ， 我 们 可 以 得 出 
|x|]? = Isl? < por” 
来 保证 满足 条 件 (4. 3. 38a)。 并 且 ， 根 据 在 王 : (一 z/2，r/ 2 中 PSW 函数 We) IEW 
及 特征 根 4 的 单调 减 性 ， 我 们 可 以 得 到 


(1 — Dw Jsl? 
1 一 | [sce [Pdr Is? = Ja — Do sf? 


Isl’ 
À ) E 2 (1 — Jest, £7) (x? )? 
= 2 apo 0 
1<k<fa, 7] l<k<co 


x |? 


[z |? 
由 于 式 (4. 3.48c), H PMR, Ap, >See. FFA. AW Drs | s(t) |2dzX 
1 导入 7， 我 们 可 以 得 到 


2 一 fa, x?) 


也 可 以 推导 出 性 质 式 (4. 3. 38b) 。 

然后 ， 像 在 正 向 证 明 部 分 中 那样 ， 我 们 可 以 用 噪声 Z(t) 的 Karhunen-Loéve 分 解 来 推 
断 对 于 每 一 个 时 间 连 续 信 道 的 码 都 对 应 着 一 个 离散 时 间 信 道 的 联合 限制 并 行 组 合 的 码 ， 并 
且 有 着 相同 的 速率 和 错误 概率 。 因 为 R 是 大 于 C* 的， 所 以 离散 时 间 信 道 的 容量 与 错误 概 
率 P, 二 PZ" = (dP ) 在 1>co 时 是 有 非 零 界 的 。 这 就 得 到 了 相反 的 结论 。 图 | 
定理 4. 3.3 的 证 明 〈 概 要 ) 形 式 参数 和 定理 4. 3. 7 中 一 样 : 我 们 必须 通过 正 向 证 明 与 反 证 
法 来 证 明 该 定理 。 前 面 提 到 过 正 向 证 明 部 分 指出 了 容量 是 过 C 的 ， 其 值 在 式 (4. 3. 31) 中 给 
出 ， 而 反 证 时 即 假设 容量 二 C。 

对 于 直接 部 分 ， 例 如 情况 3， 信 道 可 以 分 解 为 两 个 并 行 信道 的 乘积 ， 其 中 

ai = 2W (1 — 0) a =+, p = foro” = oB = qE (4. 3. 60) 

其 中 OC (0，1) (参考 例子 4. 3.6 中 PSWF 的 性 质 (e))， 并 且 4E (0， 人 刀 是 辅助 值 。 

对 于 相反 部 分 ， 我 们 可 以 再 次 像 情 况 3 中 那样 ， 将 其 分 解 为 两 个 并 行 信道 ， 其 中 


Cl = 2W(1+ 4) saz +p = Pord = a P= 7 (4, 3. 61) 
这 里 和 之 前 一 样 ， 值 9€E (0,，1) 取 自 PSWE 的 性 质 (e) ， 而 值 EE (0，1) 。 口 


总 结 前 面 的 观察 ， 我 们 可 以 得 到 著名 的 
引 理 4. 3.8 (Nyquist-Shannon-Kotelnikov-Whittaker 采样 引 理 ) 令 f A-F BRtECRV 
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FOER, EP firo [de <H oR Fourier Xak 


LFF 1) = fe Fd 


4 | o| >2W 时 为 零 。 然 后 ， 对 于 所 有 的 CER, BR 可 以 通过 在 点 z 十 n/(2W) 上 的 值 
f(z 十 n/ (2W)) 被 唯一 地 重建 ， 其 中 n= 二 0， 土 1， 士 2。 更 准确 地 说 ， 对 于 所 有 的 :ER 
都 有 


N n \sin[2x(Wt—n)] 
A =f (ay) Qn(Wt —n) 人 
n€Z 


举例 4.3.9 通过 量子 物理 学 著名 的 不 确定 定理 ， 一 个 函数 和 其 Fourier 变换 不 可 以 同时 
局 限 在 有 限 的 间隔 [一 tr，ztj] 和 [一 2xW，2xW] 上。 什么 情况 下 会 有 一 个 函数 和 它 的 Fourier 
变换 是 接近 局 限 的 ? 我 们 怎么 量化 在 这 种 情况 的 不 确定 性 ? 

解答 ”假定 函数 SEL tS f = Ff ELR 为 f 的 Fourier $K. (E: (R) 是 由 在 下 


上 的 函数 三 构 成 ,其 中 | = | | f@) | dt < ceo, 并 且 对 于 所 有 的 f,g € LR, AR 
| feo (ode 是 有 限 的 ) .我 们 可 以 知道 ,如 果 


eh IF |? dy/ | | f@) ede = a? (A. 3. 63) 
All 
[WRF Ge) do S Efo) ldo e (4. 3. 64) 
那么 Wz 关 7 显然 ， 可 以 发 现 =a A. (不 等 式 将 会 很 清楚 ， 并 且 得 到 等 式 的 函数 也 
会 很 明确 。) 
线性 算 子 EERS DfEE, (RAM FEEL: (Mhe BfELi(R) 可 以 通过 
DF GY = FHL lel /2) (4. 3. 65) 
以 及 
ape (at bret OE eh (= sin2xW (t — s) 
BPO =f |" Ffwemdy = S f(s) MEG, 4. 3.66) 
得 到 。 我 们 对 这 些 算 子 的 乘积 很 感 兴 趣 ，A=BD: 
Af) = ij" fy SW 0 (4. 3. 67) 
T J 一 r/2 ts 
见 例子 4.3.6。A 的 特征 根 4, 遵循 1 >A. >A > FF ARS n 一 2 趋 近 于 0; 见 文献 [L911]。 
我 们 也 需要 关注 %。 WHER: 可 以 证 明 A 是 一 个 关于 乘积 Wr 的 函数 。 事 实 上 ， 
(4.3.67) 的 特征 函数 ( 豆 ) 产 生 了 一 个 在 EE, CR) 中 的 正 交 基 ， 同时 这 些 函 数 形成 了 在 
El = e2 rt/2] 上 的 一 个 正 交 基 : 
(AOL 二 Ao i 
通常 来 讲 ， 在 Hilbert SA (PE f 5g 的 角度 由 下 式 决 定 
fs) = cose ( vital Re| f(g (ode) (4, 3. 68) 


这 两 个 子 空间 的 夹 角 是 二 者 中 向 量 之 间 的 夹 角 的 最 小 值 。 我 们 将 证 明子 空间 络 和 儿 ( 也 即 B 
和 DD 算 子 的 象 空间 ) 的 正 夹 角 ZB, DEFER., MEM, BERA A Ri Ti R A H R PE 
子 空间 ， 而 多 是 时 域 有 限 函 数 的 线性 子 空间 。 并 上 且 ， 
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KBD) = cos! Jr (4. 3. 69) 
以 及 在 f=, g<=DY 时 可 以 得 到 infjeg,zep0(f，g)， 其 中 P 是 (唯一 ) 特 征 根 为 ho 的 
特征 函数 。 
为 了 达到 这 个 目的 ， 我们 要 验证 对 于 任意 的 JE 多 都 有 


> ap WD 
; = 4. 3. 70 
mitt O(f.g ) = cos tea ( ) 


的 确 , 扩 展 f= f 一 Df 十 Df 并 观察 到 积分 |[f(2) — Df (t) g(t) dt 二 0( 因 为 g 和 f 一 Df 是 
不 相交 的 ) ,这 意味 着 
Re| (WE d|< | [foga] g | [Droz ar] 





所 以 


1 一 Df 
ma) ezoa TFA 
意味 着 通过 令 g=Df, RA. 3. 70) 成 立 。 


然后 ， 相 对 于 A 的 特征 函数 ， 我 们 扩展 f 二 Dav. ATIRIA 


+ [DF] -aena 
cos Wal cos ( Aaf ) (4. 3. 71) 
当 a, 二 0 对 于 n>1, f=Yo 成 立时 ， 式 子 右 边 可 以 得 到 关于 了 的 上 确 界 。 我 们 得 到 结论 ， 


子 空间 络 和 多 的 最 小 夹 角 存在 ， 并 且 正 如 所 需 的 ， 这 个 角度 在 对 =P, ge =D 上 可 以 
得 到 。 oO 

接 下 来 ， 我 们 引出 如 下 定理 。 
引 理 4.3. 10 当 且 仅 当 w 和 有 B 落 在 下 面 情况 (a)-(d) 中 的 任意 一 个 时 ， 存 在 函数 SEL, 使 
#\fl=1. |Dfl=a #H) BF =BZ. 

(a) a=0 以 及 O<P<1, 

(b) Oa fA <1 UR OSPE. 

(c) Voal AAcos tat cos "pScos Ao. 

(d) a=1 AA 0 BN Ade 
证 明 ”给 定 a€E[0,，1], 令 儿 (a) 为 一 组 函数 SCL’, WHWK\|fl=1. |Dfl=c. BF, 
EN p’ (a): =supyege Bf。 

(a) 如 果 a=, MRAGOMWAAS EE 8 二 上 Bf|=1 的 函数 。 并 且 ， 如 果 对 
于 fEB, A|Df|=OWUR|BS|=1, 那么 对 于 |t| 二 tz/2，f 是 解析 函数 并 且 f A=, 
这 意味 着 /三 0。 为 了 证 明 终 (0) 包含 满足 所 有 值 8E [0，1) 的 函数 ,我 们 令 广 = 


Ue DV R een eo e x 
aa MAWRK|BS,|=/1—2,.. HAEE A, 任意 趋 近 于 0，| BF | 会 任意 
MRF 1。 通 过 函数 ez 广 (2) ， 我 们 可 以 得 到 在 点 VI 一 驴 之 间 的 所 有 的 值 ， 因 为 

| Bem F1= (六 IF.coldo) 


范 数 |Be” F, |E p 上 连续 ， 并 且 当 pomik, JARE 0。 这 就 完成 了 对 情况 (a) 的 
分 析 。 
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(b) 4 0<a< V<l 时， 我们 令 
fi T fet =A i Vado — a Y, 
vi A 
当 特 征 根 A, 趋 近 于 0 时 ,，?” 很 大 。 我 们 可 以 得 到 六 E 罗 ，| fl|=|BFl=1. 而 通过 简单 
的 运算 可 以 证 明 |DF 了 |=a。 这 包括 了 情况 8=1， 正 如 通过 选择 合适 的 em 广 (2) 我 们 可 以 得 
到 任意 的 0<p<1. 


COMODE VA 二 a 二 1， 如 下 所 示 ， 我 们 可 以 将 fE 儿 (4) 分 解 为 
f=aDf+aBfig (4, 3. 72) 
其 中 g 和 Df 与 Bf 都 正 交 。 通 过 将 式 (4. 3.72) 的 右边 分 别 与 +、Df、Bf 做 内 积 ， 我们 
可 以 得 到 四 个 等 式 : 


1= aa? +a + [gn Forde 
er +as|Bf CD Dg (t)de 
p= a [DFO Bf (1) dt + aff 
[roe@a= Iel 
这 些 等 式 意味 着 
d +e—1+ lel = a [Dro BF (dt +a, | BFC) Df dt 
通过 消除 |g(D07(zdtva 和 as, 我 们 发 现 对 于 o8 A 0, 有 
pele 
(£ — [BFO DF ar) 


fs I-e — |e’ 下 下 
ie ' [Bre DF dt 


a (F 一 |are Df (2) dt) x [Drw Bf (t)dt 





该 式 也 等 价 于 
RF 2 te Bf 5 
ff — 2Re| Df Bf (ede <— e + (1 ae [pre BF (2) de | | ved sete 





Pree! an : 
-lgl (1 ig foro BF (edt | ) 4.3.74) 
对 于 角度 0， 我 们 可 以 写 出 


aßcosh = Re| Df (t) Bf(t)dt < orc Bf (t)dt|< aß 


将 其 代入 式 (4. 3.74 申 ,并 完 成 平方 ; 当 且 仅 当 g = 0,| DPOB FCO 是 实数 时 ,我 们 就 可 以 
等 价 地 得 到 


(8—acos0)’ < (La) snd (4, 3. 75) 
因为 OScos Vi， 所 以 式 (4. 3. 75) 意 味 着 
cos 'a+cos'B> cos! V/A, (4, 3. 76) 


满足 式 (4. 3. 76) 的 点 (a，P) 的 迹 是 在 曲线 的 右上 方 
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cos Ia 十 cog 18 三 cos1l Vio (4. 3. 77) 
见 图 (4-6) 。 
等 式 (4. 3. 77) 在 
— [fë oa l— a 
Fw TEPER l — ào 
时 对 于 函数 f =b Yo +b,DW, 成 立 。 
所 有 8 的 中 间 值 都 可 以 通过 ew 了 青 次 得 到 。 口 


4.4 空间 点 过 程 和 网 络 信息 论 


为 了 讨论 分 布 系统 的 容量 以 及 基于 点 过 程 的 随机 码 本 ， 我 们 需要 知道 一 些 背景 知识 。 我 
们 在 这 里 学 习 的 是 R 中 的 空间 点 过 程 ， 也 介绍 了 一 些 更 先进 的 点 过 程 模型 ， 给 出 了 一 个 好 的 码 
距离 。 虽 然 PSE II 中 的 一 些 材料 会 很 有 用 ， 但 是 读者 也 可 以 独立 于 PSE I 来 阅读 这 部 分 。 
定义 4.4.1 (参见 PSE N, 211 页 ) 令 为 RR 上 的 一 个 测度 ,用 值 K(A) 表 示 可 测 子 集 
ACRA WE, BE y 是 (i) 非 原子 和 (ii)o- 局 部 有 限 ， 即 (i) 对 于 所 有 可 列 集 ACR 都 有 
4(A) 二 0，( 启 存在 一 个 RR 上 的 分 割 及 =U,J;， 可 以 得 到 两 两 互 不 相交 区 间 Jis Jo. oft 
得 u(Jj) 二 oe。 如 果 对 于 所 有 在 及 上 互 不 相交 区 间 厂 ，…， L HRE, E MA) R= 
1，…,n) 是 相互 独立 的 ， 并 且 每 个 MGTD) 一 Po(CxG))， 那 么 就 可 以 说 随机 计数 测度 M 定 
义 了 一 个 Poisson 随机 测度 (缩写 PRM)， 其 均值 或 者 说 密度 、 测 度 为 j。 

关于 在 定义 4. 4. 1 中 介绍 的 Poisson 随机 测度 的 存在 性 和 特性 ， 我 们 将 在 没有 证 明 的 
情况 下 陈述 一 些 事实 。 
定理 4.4.2 对 于 在 民 ; 任何 非 原 子 和 局 部 有 限 的 测度 几 都 存在 一 个 满足 定义 4. 4 1 的 叭 
一 PRM。 如 果 测 度 pp 的 形式 是 J(dt) 二 4dt; A>0 是 一 个 常数 ( 称 为 的 密度 )， 这 个 PRM 
是 一 个 Poisson 过 程 PP(X4)。 如 果 测 度 j4 的 形式 是 (dt) 二 A(t)dt， 其 中 4A(1) 是 一 个 给 定 的 
函数 ， 那 么 这 个 PRM 就 给 出 了 一 个 非 齐 次 的 Poisson 过 程 PPOAG)). 
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定理 4.4.3 RER) p RERET FoHMPRAR HMR, KAM TAH A Ht>0 
fe h>0, KAG, +h) OM Rpt, t+h)XERAAMR CEP pt, t+h)€ (0, -)), 
i Rlimy(O, hY=0, wOR)= lim ApC0，z) 一 十 ce。 考虑 下 面 函 数 
fru € RH p0,u) 
Hf ASHABA, (HEERA fa) 一 w(0，z) 是 关于 zt 严格 单调 的 ) 令 M 为 
PRM(j)。 对 于 区 间 I=(a, DCR, HAFAL- AmE fM 
FE M1) =Ma TD = M f(a), DY (4. 4.1) 
然后 将 它 在 了 上 继续 。 那 么 大 M 一 PP(I1)， 也 即 f MRa) TY —4 i #4 Poisson 
过 程 。 
我 们 在 两 个 例子 中 阐明 上 述 方法 。 
举例 4. 4. 4 令 一 个 在 区 间 S=(—1, 1) Poisson 过 程 本 二 PP(A(z)) 的 率 函 数 为 
A(z) = Q +r)” (zr) 
EA TES 中 有 无 穷 个 点 的 概率 是 1， 并且 它 们 可 以 按 升序 标号 
sK A Xa ae. Ce Xi L Xaa 
HP X,<0<X,, 
证 明 存 在 一 个 增 函 数 fF. SHRHH (0) =0 使 得 点 f(XY)(XEDBR-4A 到 上 单位 
率 的 Poisson 过 程 ， 并 用 强大 数 定理 来 证 明 在 概率 为 1 的 情况 下 ， 有 
lim (2n) 2(1 5 X,) = 5 (4. 4. 2) 
找到 一 个 随 着 ->ce 的 相应 结果 。 
解答 ”因为 
ia ACz) dz = co 
所 以 在 (一 1，1) 里 有 无 限 多 点 的 概率 是 1。 另 一 方面 ， 对 于 每 一 个 6 二 0， 都 有 
lay idee 
使 得 开 ( 一 1 十 8S，1 一 9) 是 有 限 的 且 概 率 为 1。 这 足以 来 按 升序 给 区 的 点 唯一 标号 。 令 
ies. = [ady 


因为 f: SRA, HA fH RIA — A Poisson 过 程 中 ， 该 过 程 的 均值 测度 jy 由 下 
式 给 出 


J 
ulab) ap àCz)dr = b—a 
f (ay 


选择 了 这 个 fs 点 C7CX,)) 形 成 一 个 RE ALAR AY Poisson 过 程 。 强 大 数 定理 证 明了 随 着 
noo, 下 式 的 概率 为 1 

| 
现在 我 们 观察 到 


MKz) 一 本 (1 一 z 且 f(z) 一 二 (1 一 2 EEE 
所 以 ， 随 着 n->co， 下 式 概率 为 1， 
EOE a 
该 式 等 价 于 式 (4. 4. 2) 。 类 似 地 
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leone 4 人 L ces 
意味 着 ， 随 着 neo, PUM H 1 
到 六 (VEX 1 1 


所 以 ， 下 式 概率 为 1 


imal + X-) = i 口 


举例 4. 4.5 证 明 如 果 Yi 二 Y, 二 Ys 过 … 是 在 (0，co) 上 Poisson 过 程 的 点 ， 其 率 函 数 为 常 
HA, ABA 
: limY,, /n = 
的 概率 为 1。 令 一 个 在 (0，1) Poisson 过 程 T=PPO(z)) hE BRA 
A(z) = x? (1— zx) 
证 明 末 的 点 可 以 按 下 面 这 样 标号 
HX SK <4 < KH <M < tee 
并 且 
lim en ime 
证 明 
limnX _, = 1 
的 概率 是 1。 随 着 n> 十 coO，X, 的 极限 特性 是 什么 ? 
解答 ”第 一 部 分 依然 可 以 根据 强大 数 定理 来 推断 。 对 于 第 二 部 分 ， 我们 令 


F= | ac@ae 


并 可 知 将 工 映 射 到 一 个 常 速率 (f(0)，f(1)): FoD=PP(GD) 的 PP 上。 在 我 们 讨论 的 情况 
H, f(0)=—co, fl)=co, MU 7GD 是 一 个 在 上 RW PP。 它 的 点 可 能 被 这 样 标 号 
leat < Yg <a, <2 0X < if = ose 
其 中 
lim Y, 一 一 co， lim Y, 一 十 ce 
那么 X,. 一 广 :(Y,) 就 有 了 所 需 的 特性 。 
强大 数 定理 应 用 到 Y_, 可 以 得 出 





lim IX) li Y, =| aS 

s= HE 
现在 ， 随 着 x0. 

1/2 1/2 
fæ = f e aona f eede a 
意味 着 
一 1 
lim H =p iy s Mima = 1.—ars: 

类 似 地 ， 


lim MA 1 


n-=+oo n 
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并 且 随 着 x 一 1， 
E. 
f(a) ~ a CR 的 二 


这 意味 着 


lim = 2U) 1 aS. O 


接 下 来 ， 我 们 讨论 在 一 般 集合 上 的 Poisson 随机 测度 (PRM) 。 形 式 上 ， 我 们 假定 五 
被 赋予 子 集 的 一 个 o 代数 6， 和 一 个 测度 w， 该 测度 给 每 一 个 AEG 分 配 一 个 值 x(A)， 使 
得 如 果 A, ，A,，… 是 8 中 两 两 互 不 相交 的 子 集 ， 那么 有 

uCU,A,) = Dua,) 
值 x(E) 可 以 是 有 限 的 或 无 限 的 。 我 们 的 目的 是 定义 一 个 随机 计数 测度 M=(M(A), AE@)， 
该 测度 有 以 下 特征 : 

(a) 随机 变量 M(A) 是 非 负 整数 (可 能 包括 正 无 穷 );。 并 且 
~ Po(u(A)), — pA) < co 
= 十 co 概率 为 1， (A) =œ 
(b) 如 果 A ，As，…EG 是 不 相交 子 集 ， 那 么 

MUA) = >)M(A,) (4. 4. 4) 


(c) 如 果 集 合 Al， Az, .…E& 是 不 相交 的 ， 则 随机 变量 M(A,), M(A,), … 是 独立 
的 。 就 是 说 ， 对 于 所 有 不 相交 集合 Ai， Az, -- CGN A RE MAE Th EM kip rs Re 


M(A) (4, 4. 3) 


P(M(A,) = ki, 1 <i<n) = |] KMA) = kd (4.4.5) 

i<i<n 
首先 假设 p(E)<co CM RAB, 将 EE 分 解 为 有 限 测度 的 子 集 )。 给 定 一 个 随机 变量 
MGE) 一 PoGQw(E))。 考 虑 王 中 ID 随机 点 的 一 个 序列 Xi Xo eeo AP X;~p/p(E), 


独立 于 M(E)。 也 就 是 说 对 于 所 有 n 宇 1 和 集合 A, ，…A, EE( 不 一 定 不 相交 ) 
P(M(E) = n, X, € Ars Xs € A.) = em? BAB" TT EAD C4.4.6) 
n! ACE 
并 且 有 条 件 地 


P(X, € AX, € AIME = 四 = JT AO (4.4.7) 
i=1 上 
那么 集合 
M(E) 
M(A) = XKX: E A) AEE (4. 4. 8) 
i=] 


定理 4. 4.6 如 果 j(EEF)< 二 co， 等 式 (4.4.8) 定 义 了 一 个 羽 上 的 随机 测度 ， 满 足 上 述 (a)-(c) 
的 特性 。 
举例 4.4.7 令 M 是 一 个 在 平面 下: 上 密度 为 1 的 Poisson EINE., AxER: |x|<r) 
在 她 上 由 Clr) 表 示 ， 其 半径 为 -， 圆心 在 原点 处 ， 并 令 Ri 为 可 以 使 得 C(Ri) 准 确 包 含 M 
的 上 个 点 的 最 大 半径 。( 所 以 C(Ri) 是 一 个 在 圆 点 处 不 包含 M 中 任何 点 的 最 大 的 圆 ， 
C(Ri) 是 在 圆 点 处 仅 包含 M 中 一 个 点 的 最 大 的 圆 ， 以 此 类 推 ,) 计 算 BRo， ER, 和 BR;。 
HA FF 

PCR, > r) = KCC) 不 包含 M 中 的 点 ) = er DO, 
以 及 
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PCR, >r) = PC(C(r) 至 多 包含 一 个 M 中 的 点 ) = A Hirr) r>, 
类 似 地 


PCR; >r) = [1 十 Azr + + azr)? |e" 7 > 0 
那么 


= 1 hl gA 1 
ER =| P(R, > dr = 一 | gy A 
eo J2na do 2A 


ER, = e P(R, > r)dr 


1 u E 
= 二 +| Ew (Anr )dr 
MA 0 











1 “2 2 
ble ae Cmar?) d(/2xar) 
Die = = 
es 
4AA 
~~ Aeri = AR ot 
ER,= Pehl 2 e dr 
3 i 2\2 nirt 
aA (2ànrr) e ™ dCV2Arr) 
NE a 
3 3 
= 一 一 十 一 一 一 
ANA 16/ 
So. 
16 VA 


我 们 应 该 使 用 PRM(E，jy) 表 示 在 相位 空间 EE 上 的 PRM M, [其 测度 为 定理 4.4. 6 中 建立 的 密度 
为 的 测度 。 然 后 ,我 们 将 PRM 的 定义 扩展 到 积分 和 上 : 对 于 所 有 函数 : g:E>R,, EM 


MCE) 


M(g) = DeX): = |[g(y)dM(y) (4. 4. 9) 
在 所 有 点 XECE 上 求 总 和 ， 并 且 M(E) 是 这 些 点 的 数目 总 和 。 然 后 ， 对 于 一 个 常规 的 g: 
E 一 R， 我 们 令 

M(g) = M(g:)— M(— g_) 
对 于 所 有 aE (0, 00), 约定 十 2 一 4 二 十 co 以 及 a 一 2 二 一 co。( 当 M(g;)M( 一 g_ ) 都 等 
Fok, E M(Cg) 被 声明 为 是 未 定义 的 。) 
然后 

定理 4.4.8 (Campbell 定理 ) 对 于 所 有 6E 慌 以 及 所 有 函数 g: 巨 ~ 及 使 得 es 一 1] 是 wT 
积 的 


Ew = exp|4 [cn = DanCy) | (4. 4. 10) 
证 明 id 
Ew 一 ELECe™® |M(E))] 
= SPM) = ty ECexp[ 099 ea] [MCE) = 
由 于 条 件 独 立 (4. 4. 7) 4 
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k k 
BCexp| 02 eX) | |McE) =k)= [| Be! = (Be*% )! 
=t i=] 


= (5 Jo? w) 
uE) Je i 
以 及 





@M(g) — Ay (EY Qpu(E))* 1 | Og (x) > 
Ee due hI CE | zE duw(z) ) 


= em expla | ee deC | 
E 


Il 


expļà [cee — Duta) | 加 
推论 4.4.9 MM(g) 的 期 望 值 由 下 式 给 出 

EM(g) =A | gdu) 
当 且 仅 当 等 式 右边 被 很 好 地 定义 时 ， 它 才 存 在 。 
例子 4. 4. 10 ”假定 无 线 发 送 端 位 于 Poisson 过 程 芽 的 点 上 ,该 过 程 在 R* 上 且 速 率 为 1。 令 -~ 
为 发 端 i 到 中 心 接收 者 的 距离 ,并 且 x。 是 到 发 端的 最 小 距离 ,假定 对 于 a > 2 ,接收 信号 的 功 
率 是 ,了 二 >) 上 .那么 


El i 


He” = exp| 2an [cen — Drar | (4. 4. 11) 


其 中 g(r) 一 五 ， 这 里 呈 是 发 送 功率 。 


实际 应 用 中 有 一 个 很 常见 的 模型 ， 就 是 所 谓 的 标记 点 过 程 ， 其 空间 是 标记 D。 这 只 是 
一 个 在 R" XD 或 其 子 集 上 的 随机 测度 。 在 最 简单 的 构建 中 ， 我 们 将 需要 下 面 所 证 明 的 乘积 
特性 。 
定理 4.4. 11 (乘积 定理 ) 假 定 给 定 一 个 在 尽 上 的 Poisson 过 程 ， 其 常 速率 为 4*， 并 记 了 ;是 
TAA vt ID, #M ERFAR, XD 定义 一 个 随机 测度 


M(A) = > ICT YE A), AC RX D (4. 4. 12) 
n=1 


这 个 测度 是 在 R XD 上 的 一 个 PRM， 其 密度 测度 为 *+mXwv， 其 中 m 是 一 个 Lebesgue 
测度 。 
证 明 首先 考虑 一 个 集合 ACO, OXD, 其 中 t>0, PA 


N 


MA) = PACT, Yn) € A) 
n=1 
考虑 MGF Be™ 并 用 标准 条 件 
Ee” = BEC” |N,)] = >) PCN, = DEC” |N, = k) 
k=0 


我 们 知道 N.~PoQt), ASh, ME N =k, WA Ti» > Ti 条 件 分 布 PDF fy,....7, C | N 一 月 
由 式 (4.4.7) 给 出 。 然 后 ， 通 过 进一步 调整 ， 考 虑 到 T, eo T MY, 的 独立 性 ， 我 们 有 
E(e™™ | N, = k) 
SH Ete” | N. = ky TT] 
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=| Hs | 二 ER $s 950g |N J= k) 
o 0 
k 
x E( expo( SI Cy) E A)) IN, — k;T, = T 5 Ty = 2A 
i=1 


= 去 (| jee” dv(y)dz) : 





k t k 
para v SB (f, fens 
0 


e exp| a fne» a Ddo(y) dz | 
ð 
表达 式 MA” —1 对 (zx，y) EA BUA el, 对 (zx，y) CA 取 值 0。 


因此 
Be = exp| (e’ — 1)X | voda], OER (4. 4. 13) 
LA, M(A)~Po(amX v(A)). ai 
另外 ， 如 果 A, A APE g A, 是 [0， t) XD 互 不 相交 的 子 集 ， 那么 随机 变量 M( AID， mens 


M(A,) 是 独立 的 。 要 明白 这 个 问题 ， 我 们 首先 注意 根据 定义 ，M 是 可 加 的 : MCA) = 
M(A) 十 … 十 MCA,)， 其 中 A=AU…UA,。 根 据 式 (4. 4. 13) 


Ee!” = exp| e- Dad) |, seo)dz]= [[ Ee™™ o ER 
这 意味 着 独立 性 。 
所 以 ，M 到 EE,= 二 [0，t) XD 的 约束 是 一 个 (E,，Xdm, Xv)PRM， 其 中 m,=m| pono 
那么 ， 通 过 扩张 性 质 ，M 是 一 个 (R; XD, AmXv)PRM, 
举例 4.4.12 ”用 乘积 和 Campcell 定理 来 解决 下 面 问题 。 星 星 按 一 个 密度 为 uC(X)(CXE 瑟 ) 
的 Poisson 过 程 也 分 布 在 三 维 空间 民 上 。 星 星 的 质量 是 IID 随机 变量 ; X 处 星星 的 质量 
mx 的 PDF 为 p(X，dm)。 圆 点 处 的 重力 势能 为 
_ yi Gmx 
FS ei TX 
其 中 G 是 一 个 常数 。 求 出 MGFEe” 。 
星系 是 半径 为 尺 ， 圆心 在 原点 的 一 个 球 。 球 内 部 点 光 处 的 星星 密度 为 w(x) 二 1/|x|; 
每 个 星星 的 质量 都 是 均值 为 M 的 指数 分 布 。 计 算 预 期 的 势能 ， 因 为 星系 在 原点 。 令 C 为 
正常 数 。 求 出 从 原点 到 最 近 一 颗 对 势能 下 贡献 至 少 是 C 的 星星 的 距离 分 布 。 


解答 Campbell 定理 指出 如 果 M 是 一 个 在 空间 上， 密度 测度 为 v 的 随机 测度 ， 并 且 
a: EF 一 RR 是 一 个 有 界 可 测 函 数 ， 则 

Ee? = exp(| ceo 一 Doldy) ) 
其 中 

z= | a()M(dy) = DalX) 

xen 

根据 乘积 定理 ， 对 (X，mx) (位 置 ， DER X Ri 形成 了 一 个 PRM， 其 密度 测度 为 
kA(drXdm) 二 v(xz)dzp(z，dm)。 然 后 根据 Campbell 定理 : 
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Ee = exp(| ,| nCdz x dme! 一 D) 





在 原点 处 预期 的 势能 是 EF = TEE |，, 并 且 等 于 





| s oda | plzsdm) 各 = GM | :dz Tae ETT 
在 球 坐 标 中 | 
1 ; = 
[eae E EE lz < N = | dr ar fascosøfag = 4xR 
可 以 得 到 
EF = 4xGMR 
最 后 ， 令 D 为 表示 到 最 近 一 颗 对 下 贡献 至 少 为 C 的 星星 的 距离 。 那 么 ， 根 据 乘积 定理 ， 
P(D > d) = PA 上 无 点 ) = exp(— p(A)) 
这 里 
= Ga 
A= {(zx»m) E R A Rio |x| sd 7 2 C) 
3b p(A) = | udz X dm) 由 下 式 表示 
| dr 了 *| ddcos9/dgM~ de 
=4x f; dire Of 
GM \’ -anom _ Cd -canm 
Sa (#3 Nes /(GM =r / A 
这 决定 了 在 [0，R] 上 的 DD 的 分 布 。 Oo 
在 发 送 端 和 接收 端 分 布 式 系统 中 ， 比 如 移动 手机 无 线 网 络 ， 无 线 网 络 中 节点 对 之 间 容 
许 通 信 速 率 取决 于 它们 的 随机 位 置 和 传输 策略 。 通 常 ， 传 输 是 沿 着 源 到 目的 节点 的 发 送 链 
执行 的 。 所 以 信息 论 中 就 出 现 了 一 个 新 的 有 趣 方向 ;一些 专家 甚至 创造 了 “网 络 信 息 论 ”。 
这 方面 的 研究 和 概率 论 有 千 丝 万 缕 的 联系 ， 特 别 是 渗流 和 空间 点 过 程 。 就 算 我 们 这 里 完全 
不 提 这 个 领域 的 快速 发 展 ， 如 今 信 息 论 的 表述 也 不 能 完全 地 避 开 网 络 方面 。 在 这 里 我 们 只 对 
网 络 信息 论 中 的 一 些 话题 稍 作 讨 论 ， 有 兴趣 的 读者 可 以 参考 文献 L48] 和 其 中 的 参考 文献 。 
例子 4.4.13 ”假定 接收 者 位 于 点 y 并 且 发 送 端 分 布 在 R? 平面 中 速率 为 的 Poisson 过 程 的 
点 z;EII 上 。 那 么 接收 信号 功率 最 简单 的 模型 是 
Y= po = (4. 4. 14) 


z,€]] 
Ep PERS, BBC 用 来 描述 信号 的 衰落 。 在 所 谓 的 Rayleigh 衰落 情况 中 <(|z|)= 
etll 以 及 功率 衰落 中 |z|) 二 |z|“， a 二 2。 根据 Campbell 定理 


$(0) = BCe] = exp(2an | rce? — Dar) (4. 4. 15) 

下 面 描述 了 一 个 更 加 实际 的 无 线 网 络 模型 。 假 定 接收 端 位 于 点 y J51, ory J, Es # 

且 发 送 方 分 布 在 R' 平面 中 速率 为 4 的 Poisson 过 程 的 点 2 Cb. BER x 处 的 信号 S 
被 按照 参数 VP 放 大， 我 们 可 以 将 信号 记 为 

Ys Si t+ Zjo7 = 1S (4. 4. 16) 


EU 


信息 论 的 深层 主题 295 


这 个 最 简单 模型 的 传输 函数 是 


=VP (4.4.17) 


其 中 wv 是 发 送 波 长 ,ran = |y t]. 假定 噪声 随机 变量 Z; Æ IDD N(0, o). Rayleigh # 
eTA. RAE J=, HARA m K=1 时 ,根据 4.3 中 Nyquist- 
Shannon 定理 ， 连 续 时 间 加 性 Gauss HIRAI YO=XOe2, Wt+ZHNeEERMAFHA 


Kas y) SPR | 到 (Dd < Pe, BRAW, MEERE ob 的 情况 下 的 容量 是 


Ges 
C= Wiog(1 +25 ) (4. 4. 18) 
然后 ， 考 虑 有 限 的 ie ae 个 接收 端 
yj @) = ies EDLA ORRA ON = Lied (4. 4.19) 


其 中 对 于 发 送 端 & 二 1,，…，K， 功率 限制 为 P。 将 例子 4.3.5 用 在 并 行 信 道 的 容量 中 ， 
可 以 证 明 ( 参 考 文献 [48]) 信 道 容量 是 


g= $ Wiog(1 + 2i Pash =) (4. 4. 20) 


其 中 s 是 矩阵 L==L(|y, 一 zi DE k KWH. 然后 ， 我 们 假定 带宽 WW 二 1。 在 平均 传 
输 功率 满足 K“' >,P,<<P 时 ， 描 述 有 KK 个 发 送 端 和 J 个 接收 端的 容量 域 是 很 有 和 趣 的 。 有 
兴趣 的 读者 可 以 参考 文献 [48]， 对 于 容许 速率 Rs ， 下 面 的 容量 域 可 以 被 证 实 : 


K Af 
YERE ,iog(1+ = (4. 4. 21) 
k=1 j=] 








Paap, <KP 

定理 4.4.14 考虑 区 域 n( 也 即 大 小 Vn) HEF B, 中 放置 2n 个 节点 构成 了 一 个 任意 结构 
的 S; 将 它们 分 为 两 个 集合 S FS, 使 得 S: NS, = Ø, S: US:= S; #S= #S.=n. 由 
上 面 可 知 ， 模 型 (4. 4.19) 中 从 发 送 端 zi€ESi 到 接收 端 y;:ES; 的 可 靠 传 输 速 率 和 C, = 
> DR 是 有 界 的 ， 


pi 





-DR < Q max 2 dyloe(1+ 3) 


P,20.3P,< 
其 中 忠 是 矩阵 了 一 (C&Czi， IDA k KHF, o REWER, FRW=1, 
这 个 结果 可 以 让 我 们 找到 随 着 n>co 时 的 渐 近 容量 。 在 最 有 趣 的 Rayleigh 衰落 情况 下 


l/a 2 
R@)=C,/n~ eRe: ); 在 功率 >>2 衰落 情况 下 ， Roo E), 参考 文献 [48]。 


下 面 我 们 讨论 干扰 受 限 网 络 。 令 匡 为 一 个 在 民 上 速率 为 4 的 Poisson t. K% z: 
RXR>R WEER y 处 发 送信 号 z HERAT, $ Z 为 对 称 函 数 : Cr, y =y, x), 


Xs yER. 最 常见 的 例子 就 是 CCz， y)=Pe Bl ?| FLCT, y)= [x no ye a2, 在 下 面 
假设 条 件 下 ， 我 们 可 以 得 到 一 个 新 的 一 般 理 论 : 
(| ),| edr < co 成 立 。 


Gi) WFAA WN 20, 100) >kot /P, Ce) <1 成立 ， 其 中 有 >0 是 所 允许 的 干扰 程度 ， 
GD & 非 零 时 ， 是 连续 且 严 格 减 的 。 
对 于 每 一 个 点 对 Tis Tj Een, 定义 信号 /噪声 比 


449 


450 


296 RAE 





SNR Én eal) Se rn (A. 4. 22) 


ob +y Pe (xy xj) 


RAI 


HPP, of. k>0 并且 0O<y< 二 。 我 们 认为 如 果 SNR: >a) >k, 那么 在 x; 处 的 发 送 端 


可 以 发 送信 息 给 在 x; 处 的 接收 端 。 对 于 任意 k>0 以 及 0 过 x 二 1, 令 A, k, ORRE 
FEDA I Pin 个 点 的 集合 S, 使 得 对 于 任意 两 个 点 5，ZES,， 都 有 SNRC，d) 过 可 
以 证 明 ( 见 文献 [48]) 对 于 所 有 KEO, 1), FE R= he) EAE 

limP(A, (AC) 5€)) = 1 (4. 4. 23) 


然后 ， 我 们 认为 网 络 在 干扰 程度 k(x) 上 是 超 临界 的 ; 这 意味 着 ， 可 以 与 给 定 发 送 端 (即位 
于 原点 0 的 发 送 端 ) 通 过 使 用 中 间 点 重 传 通信 的 其 他 点 的 总 数 是 以 正 概率 趋向 于 无 穷 的 。 
首先 ， 我 们 注意 到 任何 给 定 的 发 送 端 可 能 直接 连接 至 多 1 十 (7XR) “个 接收 端 。 事 实 上 ， 
假设 n 个 节点 连接 到 节点 xz。 用 zi 表示 连接 到 x 的 节点 ， 那 么 
Cla. >al) lr: a|) i = 25260, (4, 4. 24) 
因为 zi 连接 到 节点 RIA 








Pé( |x; —2x|) 
oi +y>) Pe(|z,—z|) 
i=2 


=k 


上 式 表明 
PEC fre | ee heh P laa |) 
i>2 





> kao + ky (m, —1) Pe |x, — a| + hy Da EATE NAE 
izn +1 


> ky(n, —1)Pe(|2, —2|) (4. 4. 25) 
通过 式 (4. 4. 25) RTT AT WAG n <1+ (ky)  。 然 而 ， 网 络 会 根据 式 (4. 4. 23) 对 参数 
的 一 些 某 些 值 进行 过 滤 。 这 表明 一 个 发 送 端 可 能 通过 重 传 连接 到 无 穷 多 数目 个 其 他 节点 
上 。 特 别 地 ， 模 型 会 过 滤 y=0 的 情况 ， 高 于 Poisson fi A. 的 临界 过 滤 值 。 可 以 证 明 对 于 
A>r V (4) 的 临界 值 一 开始 随 着 4 增长， 之 后 因为 干扰 会 变 得 非常 强 ， 导 致 临界 值 开始 
下 降 。 接 下 来 的 结果 后 续 结 论 的 证 明 参 考 文献 [48] 。 
定理 4.4.15 令 X 为 Y= 二 0 情况 时 的 临界 节点 密度 。 对 于 任意 节点 密度 和 A 这 XA。， 存 在 
y (AM) 三 0 使 得 对 于 7 入 GD) 干扰 模型 能 过 滤 。 对 于 ->ce 我 们 有 

YE CA = OA (4. 4. 26) 
男 一 个 有 趣 的 与 RY 中 的 空间 点 过 程 理论 的 连接 是 在 产生 随机 码 本 时 的 点 过 程 实现 中 
的 应 用 。 一 种 选择 性 (并 且 更 高 效 ) 的 生成 随机 码 的 方法 获得 (4.1.17) 中 的 值 C(a) 的 方法 


如 下 。 选择 一 个 R 中 的 Poisson HEIM, p E EN 当 N->co 时 Ry—R, 这 里 R<+ 


log 5 z，06 是 信道 加 性 Gauss 噪声 的 方差 。 随 机 点 XO AREY HEAT AD mno FE 


欧 几 里 得 球 BV(VYNa) 内 并 且 在 接 下 来 的 “净化 ”过 程 中 继续 存在 。 确 定 r> 的 值 ( 随 机 
码 的 最 小 距离 )， 对 于 任何 Poisson 过 程 I 的 点 X;， 生 成 一 个 独立 同 分 布 随机 变量 

五 一 DGL0，1) (一 个 随机 标记 )。 接 下 来 ， 对 于 每 一 个 原始 Poisson 过 程 的 点 X, 都 检查 球 
DEX; BRA r ORB X, r). AX 只 有 其 标记 了 严格 小 于 其 他 加 人 V(X;,， OA 
的 还” 的 点 的 标记 时 ， 这 个 点 才 会 继续 存在 。 产 生 的 点 过 程 Ee 是 Matern 过 程 ; 它 是 一 
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个 在 最 近 的 文献 L1] 中 被 讨论 过 的 更 加 一 般 性 的 结构 的 例子 。 

一 个 长 度 为 N 码 字 为 x > 的 随机 码 本 的 主要 参数 是 码 字 之 间距 离 的 诱发 分 布 。 在 码 本 
通过 稳定 点 过 程 生成 的 情况 下 ， 可 以 很 方便 地 引入 一 个 函数 K(t1)，X*K(z) 表 示 在 一 个 小 
于 距离 t 的 单位 大 小 中 按 顺序 排列 的 不 同 点 组 成 的 对 的 期 望 个 数 。 换 旬 话 说 ，XK (2) 是 一 
个 过 程 中 的 任意 点 在 距离 tz 内 的 进一步 的 点 的 期 望 值 。 对 于 民 中 的 强度 为 的 Poisson 过 
程 ，K(1) 二 xt*。 在 随机 码 本 中 ,我 们 对 小 的 或 者 适中 的 t 情况 下 K (2) 小 得 多 的 模型 感 兴 
趣 。 因 此 ， 随 机 码 本 在 码 字 之 间 的 小 距离 出 现 的 情况 远 小 于 在 Poisson 过 程 。 可 以 方便 地 
引入 乘积 密度 


MAK) 


p(t) = mG) at (4.4.27) 


当 c(z) 依 赖 于 点 过 程 的 状态 空间 。 也 就 是 说 ,在 R' bk c(t) =2nt, ÆR Ec) =2nt’, Æ 
BRE c(t) 二 2xsint， 以 此 类 推 。 

某 些 简便 的 模型 已 经 被 B. Matern 介绍 过 了 。 这 里 我 们 讨论 两 个 R 上 的 点 过 程 中 直 
观 的 模型 。 第 一 个 是 通过 简化 一 个 强度 为 * 的 Poisson 过 程 ， 删 除 2R 之 内 的 所 有 点 ,不 
管 这 个 点 是 否 已 经 被 删除 了 。 对 于 N=2 的 情况 下 这 个 过 程 的 速率 为 

Met = Ae MR (4. 4. 28) 





对 于 :一 2R 的 密度 (ti) 二 0， 并 且 
ptt) = Ve ,t > 2R 
这 里 
U(t) = meas[B((0,0),2R) U BC(t,0),2R) ] (4. 4. 29) 
这 里 BC((0，0)，2R) 是 球 心 为 (0，0) 半 径 为 2R 的 球 ，B((1，0);2R) 是 球 心 为 (:，0) 半 
径 为 2R AER CAE A 的 值 使 得 这 个 模型 的 最 大 速率 为 (4reR2:) : ， 这 样 就 不 能 表示 密集 的 
码 。 通 过 三 角 栅 格 填充 获得 了 理论 界 (V12R:)” 的 10%， 见 文献 [1]。 
第 二 个 Matérn 模型 是 一 个 所 谓 的 标记 点 过 程 的 例子 。 一 个 速率 为 4 的 Poisson 过 程 的 
点 是 根据 分 布 为 U([L0，1]) 的 独立 同 分 布 的 随机 变量 进行 独立 标记 的 。 如 果 此 过 程 中 有 一 
个 彼 点 ， 它 的 距离 在 2R 之 内 并 且 它 的 标记 值 更 大 ， 无论 这 个 彼 点 是 否 已 经 被 删除 ， 此 点 
均 被 删除 。 对 于 N= 二 2， 这 个 过 程 的 速率 为 
Amz = (1 —e*)/e,c = UCO) = 4xR? (4. 4. 30) 
对 于 t<2R Hr th HE pCO =0, 并且 
2) et — 2c — eM) 
CU UG) —c) 
下 面 是 一 个 等 价 的 定义 。 给 出 本 原 Poisson 过 程 的 两 个 点 X MY EEK t= |X-Y| be 
义 了 它们 俩 在 第 二 个 过 程 被 保留 的 概率 。 那 么 对 于 二 2R Ak(t)=0, IFA 
2U (2) A — e 8R (1 — ew ) | 
4)? RU G) U) 一 4rR2) 
GIF 4.4.16 (无 线 网 络 中 的 中 断 概率 ) 假 设 一 个 接收 端 在 原点 ， 发 送 端 按照 内 径 为 ro 的 
Matérn 硬 核 过 程 分 布 。 我 们 假设 发 送 端 之 间 的 距离 不 小 于 六， 覆盖 距离 为 wa。 中 心 接收 端 
收 到 的 功率 为 


pe) = »t > 2R (4. 4. 31) 


k(t) = »t >2R 


a i 
= 之 7 (4. 4. 32) 


这 里 J,,。 表 示 干 扰 发 送 机 的 集合 ， 使 得 ro<ri<a. $ Xp 表示 稀释 后 用 来 产生 一 个 Matérn 
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过 程 的 Poisson 过 程 的 速率 。 被 稀释 过 程 的 速率 为 
1 — exp(— àÀpnri) 
Tro 
通过 Campbell 定理 我 们 可 以 计算 X, 的 MGF: 
$(0) = Elen ) 


a5 me A , h 2r Gg(7) E 
= exp(Apx(a Df aaf y AEE hy dr 1]) (4. 4. 33) 


,= 





这 里 g(r) = 
我 们 得 到 


1 
P, g= exp Arri) E ARA 1 RRR AN | aOd = A, 
0 P 


$(0) = exp (An(a" 一 all arose dr 一 1]) (4. 4. 34) 
现在 我 们 可 以 计算 干扰 信号 的 所 有 绝对 和 矩 
k k 
m = =a f 2r (ECr))4dr = A 一 二 |) 


工程 师 说 在 中 心 接收 机 发 生 中 断 ， 即 干扰 阻止 了 接收 机 理解 发 射 机 从 距离 ~ 处 发 送 来 的 信 
息 ， 如 果 








(4, 4. 35) 


P/r; 
a5 +2), ,P/r 
这 里 m EMR, r 是 到 发 射 机 的 距离 ，& 是 成 功 接收 所 需 的 最 小 SIR( 信 品 比 )。 中 断 概 
率 的 不 同 近 似 值 是 基于 式 (4. 4. 35) 计 算出 的 时 刻 。 上 典型 地 ，Xw 的 分 布 接近 于 log-normal， 见 
文献 [113]。 


4.5 密码 学 选 例 与 问题 

密码 学 一 般 被 定义 为 “关于 隐藏 信息 的 实践 与 研究 ”， 已 成 为 很 多 编码 课程 的 一 部 分 ; 
在 我 们 的 论述 中 ， 主 要 遵循 剑桥 大 学 课程 “编码 与 密码 学 ”的 传统 。 我 们 最 低 限 度 保留 了 
理论 部 分 ， 读 者 可 查阅 专门 的 书籍 去 了 解 细节 。 密 码 学 有 着 很 长 并 且 有 时 令 人 着 迷 的 历 
史 ， 其 中 数学 和 其 他 科学 甚至 非 科 学 交织 在 一 起 。 它 给 无 数 的 小 说 、 半 小 说 、 电 影 和 广播 
带 来 了 灵感 ， 并 且 热 度 尚未 表现 出 衰退 。 

一 个 产生 加 密 数 字 序 列 的 通常 方式 是 通过 所 谓 的 反馈 移 位 寄存 器 来 实现 。 我 们 只 讨论 

二 进 制 的 情况 ， 面 对 的 是 序列 空间 .和 6,,, 二 {0，1)" 二 FF"。 
定义 4.5.1 一 个 长 度 为 4 的 (一 般 ) 二 进 制 反馈 位 移 寄 存 器 ， 是 一 个 如 下 形式 的 {0，1}” 王 
10，1})* 的 映射 : 


<k 


(BO (as ro)) 
Xt FFE PHB f: {0，1)” 一 {0，1)( 一 个 反馈 函数 )。 初 始 字 符 串 (x。，…，zu-1) 被 称 为 初始 
填充 ; 它 生成 一 个 输出 流 (zx,),=o。， 满 足 递归 式 

Inia = fC Tass Lnai) MT HAW n > 0 Crs) 
如 果 函 数 了 是 线性 的 并 且 co 三 1， 那 么 反馈 位 移 寄 存 器 被 称 为 线性 的 (简称 LFSR) : 


F(X 9888 ,Xa1) = Dito Fue = Go — 1 (AL Be) 
这 种 情况 下 递归 等 式 是 线性 的 
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d~i 
Ind = DCX MEMRAM n0 (4. 5. 3) 
i=0 
可 以 很 方便 写 出 式 (4. 5. 3) 的 矩阵 形式 
ie — Wa (4. 5. 4) 
其 中 
0 0 0 0 x 
Gao. 1 0 0 Inti 
Kase pi tei’ of Bthe Olea = : (4. 5. 5) 
Di 05) Oo. 2% sa hol I ier 
Go ed va Pe yee Micke, ahaa 


通过 第 一 列 的 行列 式 展 开 ， 可 以 看 出 detV=1mod2: (n，1) 的 余子 式 元 素 o BERL. 
因此 
detV = codet IL 一 co 三 1， 并 且 矩 阵 V 是 可 逆 的 (4. 5. 6) 
根据 式 (4. 5. 3) 
COX) = co +a X tee tH cea X HX’ (4.5.7) 
一 个 LFSR 的 辅助 或 者 反馈 多 项 式 是 一 个 有 用 的 概念 ， 因 为 通过 它 可 以 观察 到 一 般 的 反馈 
位 移 寄 存 器 在 初始 运行 之 后 会 变 成 周期 的 。 
定理 4.5.2 长 度 为 d 的 一 般 反 馈 移 位 寄存 器 的 输出 流 (zx,) 具 有 如 下 性 质 ， 存 在 一 个 整数 
r, 0X<r<24, MAYR D, 1<D<24—r, 使 得 对 所 有 的 有 r+ 部 有 tp 二 wi。 
证 明 在 (4.5.1) 中 , 一段 序列 zw…zmta-! 唯 一 决定 输出 流 剩 余 的 部 分 ， 即 (zx;，n 宇 M 十 
d 一 1)。 我 们 看 出 如 果 这 样 一 段 序列 在 流 中 被 复制 将 会 出 现 重 复 。 对 于 一 个 只 知道 后 面 4 
个 数字 的 字符 串 有 2 中 不 同 的 可 能 性 。 因 此 ， 根 据 铝 梨 原理 ， 存 在 0 二 + 二 R=2* 使 得 从 
位 置 > 和 R 向 前 ， 输 出 流 的 长 度 为 d 的 两 段 将 是 相同 的 : £= try 0Sr<R<d, Hf 
Bs 正如 所 提 到 的 ， 对 于 所 有 的 J 之 0， 都 有 Trti 一 TR+j o 并 且 当 D==R 一 r 时 这 个 结论 
成 立 。 口 
在 线性 的 情况 下 (LFSR)， 对 于 丢弃 的 零 字 符 串 ， 我 们 可 以 重复 上 面 的 证 明 。 这 样 我 
们 可 以 从 2 降 到 2 一 1。 然 而 ， 在 “适当 的 意义 上 ”LEFSR 是 周期 的 。 
定理 4.5.3 LFSR(zx,) 是 周期 的 ， 即 对 于 所 有 的 n， 丰 在 D 二 2" 一 1 使 得 zs+p 二 x,。 具 有 
这 样 性 质 的 最 小 的 万 被 称 为 LFSR 的 周期 。 
证 明 确实 ， 列 向 量 x*'“'，n 宇 0， 与 等 式 x,+1 一 Vx, 二 V"'!xo。，n 宇 0 有 关系 ， 其 中 和 矩阵 
V 在 式 (4. 5. 5) 中 已 被 定义 。 我 们 注意 到 detV=c. 40, KIE V EDM. EMM 
的 ， 我们 可 以 丢弃 零 初始 填充 。 对 于 每 个 向 量 x, € {0,，1}*， 只 有 27-1 个 非 零 的 可 能 。 
因此 ， 正 如 在 定理 4. 5. 2 中 的 证 明 中 所 讨论 的 ， 在 初始 的 2 一 1 个 向 量 x,，0 二 n 志 2* 一 2 
中 ， 要 么 是 重复 ， 要 么 是 零 向 量 。 第 二 种 可 能 也 能 再 次 被 丢弃 ， 因 为 它 会 导致 一 个 零 初 始 
填充 。 因 此 ， 假 设 第 一 个 重复 是 对 于 7 和 DD 十 j: x,=x0, BIW x =V x. WR FAO, 
RRAV 一 并 且 得 到 一 个 更 早 的 重复 。 所 以 : j=0, DS27-1F AV? x, =x, MBA, 
RHE, Xo =V" Px =V" xo =X, o 口 
举例 4.5.4 给 出 一 个 一 般 反 馈 寄 存 器 的 例子 ， 其 中 输出 为 ko WAEA Cos ko 
kn)， 使 得 
(Ke Revo RAR) (Rk GR ne) 
WS Bf: (0, 1}? >{0, 1)%, flay, t:)=r:1. 和 初始 填充 00 产生 00111111111…。 这 
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里 ， 对 于 所 有 的 n 宇 1 都 有 RA  A0=hi 。 [El 
举例 4. 5.5 对 于 线性 回归 (4. 5.3), EEV 满足 式 (4.5.5) 的 定义 。 定 义 并 计算 V OH 
征 值 和 最 小 多 项 式 。 

RES EEV 的 特征 多 项 式 为 hv(X)E FLX |= X—det(XI—V) 





wl Ga ss 0 0 
Or D rl, ee P10 0 
ECX = det Pg p eer es : (4. 518) 
Gi o TAN 1 
o ai we e eran Ct TAD 


(回忆 一 下 ， 考 虑 FR 中 的 元 素 1 和 cj) 。 从 最 底下 一 行 开始 扩展 ， 多 项 式 hy (1) 写 成 一 个 大 
小 为 (d 一 1)X (qd 一 1) (余子 式 ) 的 行列 式 的 线性 组 合 : 


1 Cpa eae Hla g Oy te iy 
AL re 0 DC al a tO) 
co det A ` » 2 十 cidet į A 
QQ 8 Ke al Ce 0 ee ton 
1 WO 
ye. | Or $) 
=f: ts 十 ca_» det f 
0 0 0 1 
:nl 0 0 
On aX Qo 86 
+ (car +X)det| ` 
0 O ee iQ AK 
=Co te ox + ose Shs Caa ATA ir (cai + XOX? 


=>) Ki x 


这 给 出 了 递归 式 的 特征 多 项 式 CCX). 
根据 Cayley-Hamilton 定理 
hy V) = ol + aV + e H cai V HHV =O 
矩阵 V 的 最 小 多 项 式 mv(X) 是 使 mv(V) 二 0 的 最 小 次 数 多 项 式 。 它 是 hy (X) 的 一 个 除数 ， 
hv(X) 的 每 个 根 都 是 mv XO AYA hy OO A my (XX) 的 区 别 在 于 重 数 : mv OO MAE w 的 重 数 
等 于 对 应 着 jy 的 矩阵 V 的 Jordan 单元 的 最 大 尺寸 ， 然而 对 于 hy(X) 则 是 所 有 对 应 着 jy 的 
56 MeV 的 Jordan 单元 尺寸 的 总 和 。 
为 了 计算 出 my(X)， 我 们 : 
G) 取 一 组 基 e =, e4 (在 F,** #). 
Gi) 那么 对 于 任意 向 量 e 我 们 找到 向 量 e;，V e;，…， Vee, Vite, 是 线性 相关 的 最 
小 数 qj;。 
Gi 确定 对 应 的 线性 组 合 
as? e taPV et» Hag di e HVi e = 0 
Civ) 进一步 ， 我 们 构造 对 应 的 多 项 式 
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my (X) = >) aP Xi + x4" 


0<i<d, 


(v) 然后 
my (X) = lem m& CX), ++ mi CX) | 
在 我 们 这 种 情况 下 ， 很 方便 地 可 以 取 


那么 V’ e= jo 我 们 得 到 d,=d 和 
mn CXy = YS 6. KR = by OO 口 


我 们 发 现 递 归 式 的 反馈 多 项 式 C(X) 与 矩阵 V 的 特征 值 和 最 小 多 项 式 相同 。 可 以 观察 
到 在 X=0 的 情况 下 我 们 有 
ROSCO Sv (4.5.9) 
任何 多 项 式 都 可 以 通过 它 的 根来 确定 ; 我 们 曾 发 现 这 样 一 个 描述 可 能 非常 有 用 。 在 LFSR 
情况 下 ， 下 面 的 例子 是 很 有 启发 性 的 。 
定理 4.5.6 考虑 式 (4.5.3) 中 的 二 进 制 线性 递归 和 式 (4. 5.7) 中 相应 的 辅助 多 项 式 。 
(a) 假设 区 是 一 个 包含 F, 的 域 ， 使 得 多 项 式 CC(X) 在 域 区 中 有 一 个 m ERa. WA 
对 于 所 有 的 k=0， 1, 1, m=i, 
be Dy ed Re (4. 5. 10) 
是 区 域 中式 (4. 5. 3) 的 一 个 解 ， 其 中 


1， k=0 
A(n,k) = f II (n— l), jmod2, k Rl (4. 5. 11) 


o<l<k-1 


在 这 里 以 及 下 面 的 论述 中 ，(a)+ 表示 maxla, 0]. MAB, FIX” =(x,) Æ LFSR 的 
一 个 辅助 多 项 式 为 C(X) 的 输出 序列 ， 其 中 z, 如 式 (4. 5. 10) 所 示 。 
(b) 假设 区 是 一 个 包含 的 域 ， 使 得 多 项 式 C(X) 在 区 中 能 被 分 解 成 线性 因子 。 令 


ais sa EKHI COOR, EA m, =, m, HP Dym 二 4 。 那 么 对 于 某 
H b, EK, R4. 5. DE K PREH 
Se r NG (4. 5. 12) 


1<i<r 0 过 km 一 ! 


换 名 话说， 序列 xp 三 (z) 张 成 了 辅助 多 项 式 C(X) 的 LFSR 所 有 输出 流 的 集合 ， 其 中 
z,=A(n, kat MAC AKG. 5.11) 中 给 出 。 

证 明 (a) MR C(X) 有 一 个 m BWRaeK, BA CX) =(X—-a)" CCX), HPCE 
一 个 次 数 为 d—m 的 多 项 式 ( 其 中 的 系数 来 自 域 KERK. BA, IFRA R=0, e, 
m 一 1 和 n 宇 d， 多 项 式 

dé 
dX* 





YD OF 
(系数 取 模 2) 在 X= FER K PAAR: 


CXC] 
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Dina) = >) cA(n—d+i,k)a™ + A(n,k)a" 


<i<d-] 


这 样 就 得 到 
A(n,k)a" = a cAtn—d+ikde™ tt 


0<i<d-1 


因此 , 关于 如 式 (4.5.10) 中 所 示 的 zs Hix? =(z)， 能 求解 下 中 的 递归 zn = 
X) Garani 。 这 种 解 的 个 数 为 mx， 即 根 a 的 重 数 。 


0<i<d-1 


Cb) 首先 ， 我 们 观察 到 输出 流 集合 (z, ooh M—THE 玉 上 的 线性 空间 W( 来 自 区 中 元 素 
的 所 有 序列 的 集合 )。W 的 维度 为 &， 因 为 每 个 流 都 被 一 个 种 子 (初始 填 充 ) zz ea ER 


唯一 定义 。 另 一 方面 ， 序 列 x* = Cr BOW d = 》) m, 中 的 元 素 为 : 
l<i<r 
ge = A(n,k)a! 97 — 0,1l,- 


因此 ， 它 足以 检测 流 关 ”在 玫 上 是 线性 独立 的 ， 其 中 iSl, e, r, R=0, le, mi 一 1。 O 
在 最 后 ， 取 一 个 线性 组 合 2， D) bisx" 并 且 假 设 其 为 0。 同 时 我 们 也 认为 对 于 


1<i<r 0<k<m,_, 

ROA” 二 0。 可 以 很 方便 地 引入 一 个 位 移 运 算 x= a) Sx, HP AEA S= Cae) IG 
素 z = 二 x,+1，n 二 0，1，*…。 关 键 的 发 现 如 下 。 令 I 表示 恒 等 变 换 。 那 么 对 于 所 有 的 BE K， 
(S$ — pI) x = (a; —p) xO A ka; oD 

事实 上 ， 序列 (S 一 81)z"* HB n SRST 
A(n+1,k)aTt! -pA mo 

=LA(n,k) + kA(nsk —1) Jai =BA (nka? 

=(a; — P)A(n,k)al + ka;A (n,k — 1)a? 
与 上 面 的 等 式 在 序列 上 相同 。 在 这 里 我 们 使 用 了 基本 公式 

A(n+1,k) = A(n,k) + kA(n,k — 1) 
然后 通过 迭代 ， 我 们 得 到 
(S—BD(S—BD x%” =(a; — B.) Cai —) x” 
Faila — Bi Kai PY xO + ha? xr 
=(S— BD(S— BD x” 
等 (所 有 系数 运算 在 KEFR), Fe, =a 时 
Chad’ RST Pe ll =e eae 
0, beak 

现在 考虑 将 乘积 运算 [| S-an" (S 一 a,1),， 的 结果 应 用 到 我 们 消除 的 线性 组 合 


l<i<r 


Dy bmx? 。 唯 一 保留 的 项 来 自 被 加 数 brm 1"? 。 这 给 出 了 


| 


(S— al) Go = | 


| [I (a; =a [(m, =a Yaa ae = 0 


l<i<r 
AH, bnm -1 二 0。 然 后 ,我们 应 用 [| (S 一 ai1)™ (S— aL)” ZKI brm 一 0。 按 照相 似 
的 方式 继续 ,我 们 可 以 确保 每 个 系数 bi = 0。 口 


当 观 测 到 一 个 数字 流 为 (zx,);zo 时 ， 观测 者 也 许 希 望 去 判断 它 是 否 是 由 一 个 LFSR 产生 
的 。 这 可 通过 所 谓 的 Berlekamp-Massey(BM) 算 法 来 实现 ， 它 可 以 求解 线性 方程 组 系统 。 


如 果 一 个 序列 (z,) 是 来 自 于 LFSR， 它 的 反馈 多 项 式 为 CCX) = aX +X, WARF 
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n=0, m, dy RER rs = Dorn 可 以 写成 向 量 -矩阵 形式 Ascs 二 0， 其 中 


Co 
To Tı T2 5 abe Ga 
Cl 
Ti T2 T3 OEP) ress : 
a | TOP Pari =a E (4. 5. 13) 
Cal 


Ta Tatl Tap °° Zea 


1 


Aik, (d+1)X (d+1) SERA, 的 行列 式 一 定 为 0， 并 且 (4d 十 1) 维 向 量 c 一 定 在 零 空 间 
ker A, 中。 


算法 从 矩阵 4, 的 检测 开始 ， 其 中 + 是 一 个 较 小 的 值 ( 已 知 是 小 于 4 的): 
Tı T2 T3 s Tr 


A a 人 T ... z 
我 们 计算 det A,: 如 果 detA, #0, 我们 得 出 结论 dr 并 且 令 = 加 1。 如果 det A, =0, I 
么 我 们 解 方程 A, a, 二 0， 即 试验 d=r 


ao 
Xo Tı Ta 
ay 
A; : = ale Tı ji Tatl 
Qa- z * ... £ 
1 d d+ 2d 
(比如 通过 Gauss 消去 法 ) 和 针对 递归 式 tra = J) aan, 来 测试 序列 (z,)。 如 果 我 们 发 
o<i<d—1 


现 不 相符 ， 那 么 如 果 失 败 的 话 ， 我 们 选择 一 个 不 同 的 向 量 c.E kerAr 或 者 增加 +。 
BM 算法 可 以 用 优美 的 代数 形式 来 说 明 。 给 定 一 个 序列 Cz,)， 考 虑 一 个 X PA IK 


WER: 》)zjX' 。(z,) 是 由 反馈 多 项 式 为 CC(X) 的 LFSR 产生 的 ， 它 等 价 于 通过 多 项 式 
A(X) = J a:X' 除 以 CCX) 来 获得 上 面 的 级 数 : 
PEN = 2 (4. 5. 14) 


ME, AH co = 1,A(X) = C(X) $ aX? SH F 
j=0 


ap = Soran = 1s (4. 5. 15) 
i=] 
或 者 
并 一 
a — Cites n= Ody 
xr, 一 > (4. 5. 16) 
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换 旬 话说 ，A(X) 参 与 解释 了 初始 填充 ，C(X) 扮 演 了 反馈 多 项 式 的 角色 。 
举例 4. 5.7 线性 反馈 位 移 寄 存 器 (LFSR) 到 底 是 什么 ? 解释 Berlekamp-Massey 方法 如 何 
通过 输出 来 恢复 一 个 线性 反馈 移 位 寄存 器 的 反馈 多 项 式 。 描 述 当 我 们 观测 到 输出 为 
10101100100 0+ 
010111100010 
和 
11001011 
的 情况 。 
解答 初始 填充 zo…zs_1 产 生 输 出 流 (zi)i=o， 它 满足 递归 等 式 


dk 


Erid = > CiT rti? n>0 


反馈 多 项 式 
CCX) = co Hey X + 9 + X + X? 
是 特征 多 项 式 ， 因 为 这 个 回归 等 式 决定 了 它 的 解 。 我 们 假设 系数 co A0; 否则 zx, 不 会 对 
461] zv+z 产 生 影 响 ， 寄 存 器 的 长 度 可 以 视 为 d 一 1。 
Berlekamp-Massey AI MIE ERAF A 


LO 
A, | i} det A; 40 














0 
但 是 
LEGA] 
A: = |0 1 0j, detA, =0 
o n 
Co 
FF HA: |c | =0 有 解 o=1, c= 二 0。 这 给 出 了 递归 式 
C2 
Lry = Tn 
它 不 符合 剩余 的 数字 。 因 此 我 们 转 到 4: : 
wro Pd 
Q@ 1 “Owl 
A; = ie Rae ae det A; Æ 0 
OS Et +O 
然后 到 44 : 
Io ao 
OS Tee pA 
Ay= | 0 ln TO detA, = 0 
Oo 1 <0 Oo 
te Os 4 SO 1 
FRA c =0 解 得 c= 。 这 样 得 到 


1 
0 
0 
1 
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Lee Ba Bas 


它 符合 序列 其 余 的 部 分 。 在 第 二 个 例子 中 ， 我 们 有 








See OF Or E 
si eg Iai i 
det dl el A Ole» diet S 
A OR Pi 
oe L 
DEF lar 
和 
OA ere: Sey rA 
tL O Ld bas il KI 
Mkate aoc La Niet) 
ie S es lil 
peel yc RON tn 


求解 为 d54, dra 二 十 zt。 线性 递归 关系 可 以 根据 输出 序列 的 每 一 项 而 得 以 满足 。 那 
么 反馈 多 项 式 为 X'+X+1, 

在 第 三 个 例子 中 的 递归 式 是 Dats ta + Bati o O 

LFSR 被 用 来 产生 加 性 流 密码 。 加 性 流 密码 在 1917 年 由 Gilbert Vernam 发 明 ， 这 时 
他 是 AT&T Bell Labs 的 一 名 工程 师 。 这 里 ， 发 送 方 使 用 LFSR(k,) 的 输出 流 ， 通过 (z,) 
来 将 纯 文本 (p,) 加 密 ， 其 中 

Zn = pp 二 hyinod2, n>0 (4. 5. 17) 
接收 方 通过 如 下 方式 进行 解密 

Da = Za Fk, mod2, 和 0 Ca Dal) 
但 是 当然 ， 他 必须 知道 初始 填充 kotkaa MFR co…cs_!。 这 个 流 密码 的 主要 缺点 是 它 
的 周期 性 。 确 实 ， 如 果 生 成 LFSR 的 周期 为 D， 那么 “攻击 者 ”就 足以 自制 一 个 长 为 2D 
的 密码 文本 zozi…zzp-_1 和 对 应 的 纯 文 本 Po Pit P2p-1 © (对 于 当代 福尔摩斯 来 说 并 不 是 无 法 
完成 的 任务 。) 如果 攻 击 者 侥幸 知道 了 周期 D 的 值 ， 那么 他 只 需要 利用 zoz zp A 
poPi…pp-1 就 可 以 破译 密码 ， 也 就 是 不 管 整个 文本 有 多 长 都 可 以 解密 。 

很 明显 ， 短 周期 的 LFSR 重复 使 用 时 ， 它 会 更 容易 被 破译 。 二 战 时 期 和 随后 的 冷战 时 
期 有 着 一 系列 惊人 的 例子 (德国 密码 破译 者 成 功 破译 了 英国 海军 的 密码 ， 英 国 和 美国 的 密 
码 破译 者 成 功 地 破译 了 德国 的 密码 ， 美 国 的 “Venona” 项 目 破译 了 苏联 的 密码 )， 这 都 是 
由 于 密集 的 信息 传输 引起 的 。 然 而 ， 即 使 是 极 长 的 周期 也 不 能 保证 安全 。 

就 本 书 这 一 节目 前 所 讲 到 的 内 容 而 言 ， 可 以 通过 组 合 几 个 LFSR 来 增加 LFSR 的 
周期 。 
定理 4.5.8 假设 流 (x,) 是 由 一 个 长 度 为 d1， 周 期 为 Di ， 辅 助 多 项 式 为 Ci(X) 的 LFSR 
产生 的 ， 流 (yi) 是 由 长 度 为 do, AWA Do, 辅助 多 项 式 为 CX) t LFSR FAH, + 
air “sa, FP Bry oy B 分 别 为 在 菜 个 域 KOE 中 的 CCX) 和 CCX) 的 不 同根 。 令 m 为 
Ra; 的 重 数 ，m) 为 根 B; HER, HLAd = 》) 而， 中 三 >) m. M4, 


l<i<r) l<i<r, 
(a) 流 (ZXs 十 y,) 是 由 辅助 多 项 式 为 lem(Ci(X)，Cs(X)) 的 LFSR 产生 的 。 
(b) 流 (zy,) 是 由 辅助 多 项 式 为 CCX) = [| [| (Xap 7  LFSR 产生 的 。 


i<i<ry I<jxry 





特别 地 ， 产 生 的 LFSR 的 周期 在 两 种 情况 下 都 是 可 以 被 lcm(Di ，D，, ) 整 除 的 。 
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证 明 根据 定理 4.5.6， 对 于 某 些 a bE KK， 问题 中 LFSR 的 输出 流 (z,) 和 (y,) 在 域 K 
中 的 形式 如 下 


= y= >) ST AG ps 4.5.19) 


ISi<r osSksm,—l 1<j<r,0<l<mi-1 


(a) 写 出 式 (4. 5. 19) 的 和 表达 式 z, 十 y,， 合 并 同类 项 就 得 到 了 (a) 的 证 明 . 
(b) SFR zy, 我 们 有 如 下 表达 式 


>) ParsbisA RAGS) Cap)” 
ij hel 


积 4;40;,A(n,k)A(n,L) 可 以 写 成 和 ep A(n,t)u, (aix »0;.1) 的 形 Ths 其 中 系 数 


下 人生 发 寺 一 ! 


U, (i,k 93.1) € 区 ,这 给 出 了 LnY n 的 如 下 表达 式 : 
> AGO >l) miami) Cop" 


l<i<n lSjSr 0S tm, +m) —2 kilskNlStskti-1 


接 下 来 它 可 以 被 写 为 
Lin = pP > Ds ACn, t) tju Capi)" 


1<i<r, 1<j<r_ 0<t<m,+m! 一 2 


对 应 着 (b) 中 辅助 多 项 式 为 CCX) 的 LFSR 输出 流 的 一 般 形 式 。 E 

尽管 有 着 严重 的 不 足 ，LESR 依然 在 很 多 情况 下 可 以 使 用 : 它们 允许 简单 的 加 解密 而 

无 需 “ 前 看 ”和 显示 一 个 在 编码 、 传 输 、 解 码 中 错误 的 “局 部 ”效应 。 更 一 般 地 ， 非 线性 
LFSR 经 常 只 提供 边际 利益 然而 却 带 来 严重 的 缺点 ， 特 别 是 在 解密 过 程 中 。 


一 个 同样 例子 引发 的 错误 ， 
会 使 事态 急速 加 剧 。 
William Shakespeare(1564—1616), 
英国 编剧 与 诗人 ， 选 自 《 威 尼斯 商人 》 


举例 4.5.9 (a) 令 (zi)，(y)，(zn) 为 三 个 由 LEFSR 产生 的 流 。 令 
ka= Za WR Ya = Za 
R= Yaa WRK yn F Zn 
试 证 明 k, 也 是 一 个 由 线性 反馈 寄存 器 产生 的 流 。 
b) 一 个 加 密 流 由 长 度 为 d 的 线性 反馈 寄存 器 产生 的 。 证 明 ; 当 给 定 长 度 为 2d 的 纯 
文本 和 加 密 文本 ， 我 们 可 以 发 现 加 密 流 。 
解答 (a) 对 于 三 个 由 LFSR 产生 的 流 (zx,)，(y,)，(z,)， 我 们 令 
hy = Ly rm EE FE) 
所 以 应 该 注意 的 是 由 LFSR 产生 的 ( 逐 点 的 ) 和 与 积 的 流 也 导致 了 由 LFSR 产生 的 某 些 流 。 
(b) 假设 纯 文本 为 Ma Vors" Veale 加 密 后 的 文本 为 ary Tz Tyo Ba T Yed © 那么 我 们 可 
以 恢复 出 titas RPAG ca.…cs 必须 满足 d 个 联 立 线性 方程 


d 
Tati = Site AE rN ed 
i=l 


通过 解 上 述 方程 组 得 到 Cra Cas, 89s Cas 并 且 因 此 获得 加 密 流 。 O 
举例 4.5. 10 一 个 长 度 为 4 的 二 进 制 非 线性 反馈 寄存 器 有 
Le 一 Tra + i 9 让 


证 明 状 态 空 间 包含 长 度 为 1，4，9 和 2 的 循环 。 
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解答 ”有 2 二 16 个 初始 二 进 制 序 列 。 通 过 检验 ， 

0000 + 0000 (长 度 为 1 的 循环 ) 

0001 — 0010++0100++ 1000 — 0001 (长 度 为 4 的 循环 ) 

0011+401111111+1110+1101 

+> 1011 > 0110 > 1100 > 1001140011 (长 度 为 9 的 循环 ) 

0101Fy 1010 > 0101 (长 度 为 2 的 循环 ) 
所 有 的 16 个 初始 填充 都 在 列表 中 出 现 ， 所 以 分 析 是 完整 的 。 口 
举例 4. 5. 11 描述 一 个 加 法 流 密码 是 如 何 工 作 的 。 什 么 是 一 次 一 密 ? 简要 解释 为 什么 如 果 
一 次 一 密 只 使 用 一 次 是 安全 的 ， 反 复 使 用 多 次 就 不 安全 了 ? 使 用 一 次 一 密 将 TTXI Ls Ts Wn 
编码 成 0101011 发 送 。 由 于 发 生 错 误 ， 重新 使 用 密 钥 将 信息 yoZiZaZsZiZ5zs 编码 成 0100010 
发 送 。 证 明 rttr rs 是 两 种 可 能 的 信息 之 一 ， 并 且 找 出 这 两 种 可 能 。 
解答 ”一 次 一 密 是 一 个 基于 随机 密 钥 的 一 种 密码 ， 这 是 由 Gilbert Vernam 和 Joseph 
Mauborgne( 二 战 时 期 美国 Signal Corps 主席 ) 。 这 个 密码 使 用 了 随机 数 生 成 器 来 从 长 度 为 
d 的 字母 表 jJ 中 产生 序列 上 ps …。 更 准确 地 说 ， 每 个 字母 均匀 地 分 布 在 J 上 并 且 不 同 字 
母 是 不 相关 的 。 信 息 m=aa a, 被 加 密 为 c= 二 cico……c,， 其 中 

c =a;+k;(mod q) 

为 了 证 明 一 次 一 密 具 有 完美 的 安全 性 ， 可 写 出 

PM=m,C=¢)= PKM = m,K =c—m) 


= PKM = mK = c— m) = PM = m) 3 


这 里 差 c 一 m 是 逐 位 的 并 且 是 模 4 的 。 因 此 ， 条 件 概率 


P(C = c|M = m) = P?M= mC =o) _ 


1 
PM = m) q 
不 依赖 于 m. Kike, MAC 是 不 相关 的 。 

ER & 中 ， 考 虑 一 个 密 钥 流 kzks8…。 输 入 的 纯 文本 流 py po ps … 被 编码 为 密 文 流 
cicca, HEP c= ptk; WR k; 是 独立 同 分 布 的 随机 数 ， 并 且 密 钥 流 只 使 用 一 次 (事实 
ERER), 那么 我 们 就 有 一 次 一 密 。( 假 设 只 有 发 送 方 和 接收 方 知道 密 钥 流 ) 在 这 个 例 
FH, 我们 有 

Zi2Z2xX3Z4Z5Z6y7 > 0101011 
Yo Lı T2 L3 L4 T5 Xs > 0100010 
假设 xz, =0, 那么 
ko = 05k; = 1,2, = Osk, = 0,23 = 0,2; = 052, = 1,k = 0 
z; = 1,k; = 0,2, = l,k = 1 
因此 
k = 0100101, x = 000111 
WR zi 二 1， 每 个 数字 改变 ， 所 以 
k = 1011010, z= 111000 
作为 另 一 种 选择 ， 令 zo 三 ,zi 三 ys 如 果 第 一 个 密码 为 qiq…， 那 么 第 二 个 密码 为 
pipz"…s HA—K—-BA his kas os BA 
Qj = Sp Rj py = zk; 
所 以 
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ty Ppa = QP py 


并 且 
ty t+ 2 = 09a ay =D 
Bem = late, =F xz —0 
这 会 获得 
Xi = Le 一 ,ay = Ts = Ta sly = X; #1 
信息 为 000111 或 者 111000。 司 


举例 4.5.12 (a) 令 0: Zi 下 {0，1} 被 定义 为 如 果 寻 是 奇数 那么 0(2) 二 1， 如果 姥 是 偶 
KARA O(n)=0, FRE FP, 中 的 如 下 的 递归 关系 : 
wa 0 (4. 5. 20) 
ACA. 5. 20) 的 通 解 为 ,二 A 十 BO(n) 十 C9(n?) 是 真 的 吗 ? 如 果 为 真 ， 证 明之 。 如 果 不 为 真 ， 
解释 为 什么 并 且 给 出 正确 的 结果 。 
(b) HE Fh 中 解 递归 关系 式 un Hun = l, 约束 条 件 为 Uj=1, u=0, 将 解 写 成 9 入 n 
的 表达 式 。 
(c) 四 个 流 Was Ins Wns Fo 由 线 性 反馈 寄存 器 产生 ， 如 果 我 们 令 
aiye ate a to, = 1 
In tw, 如 果 z, tw, =0 
证 明 k, 也 是 一 个 由 线性 反馈 寄存 器 产生 的 流 。 
解答 (a) 我 们 观察 到 9(n:) 二 90(n)， 所 以 提出 的 和 只 包含 两 个 任意 常量 。 现 在 考虑 
g(n)=A(n(n—1)/2), HA 
g(n+3) + ¢(n+2)+¢(n+1)+ 2(n) 
=o( Sea), (Stent) 
ry a 
一 2060 十 222 十 他) =0 
并 且 有 gO=g)=0, g(2)=1, MARTH n=0 和 ?一 1 代 人 关系 式 aln) +b+cg(n) =0, 
并 上 且 观察 到 a 二 6 二 c 二 0。 所 以 ，0(n)，1，g(n) 是 独立 的 。 因 此 ，A0(n) 十 B 十 Cg(n) 是 一 个 
三 阶 差 分 等 式 的 通 解 。 
(b) 首先 尝试 解 递归 关系 式 w+ 十 内 二 1， 没 有 附加 条 件 


gin) 十 gz 十 2) 一 of MEER ) 


=0( ay 


k, = 


= 6(n? +n+1) = 1 
现在 将 n=0 Al n=1 代 人 关系 式 u,=A+BO(n) + e(n), BB A=B=1, Alt, u, =1+ 
O(n) + ¢(n). 
(c) 序列 k, 是 由 如 下 的 线性 寄存 器 产生 的 

ky = aa Ww, + Cop, Oye + zest w,) 图 
在 这 一 章 接 下 来 的 部 分 ， 我 们 将 要 讨论 一 系列 现代 密码 系统 的 性 质 ， 通 常 称 为 公 钥 密码 ， 
主要 集中 在 RSA 和 比特 承诺 密码 系统 。 
定义 4.5.13 我 们 给 定 一 个 正规 的 加 密 系统 ， 如 果 我 们 可 以 识别 : 


信息 论 的 深层 主题 309 





(a) 一 个 纯 文 本 集合 罗 ( 按 第 1 章 中 的 说 法 是 源 信 息 ) 。 

(b) 一 个 密 文 集合 多 ( 按 第 1 章 中 的 说 法 是 码 字 ) 。 

(c) 一 个 用 于 标记 编码 映射 的 密 钥 集 合 .% 。 

Cd) 加 密 函 数 ( 编 码 映射 ) 的 集合 82， 其 中 每 个 函数 E, RPECHP-E PEC, 并且 被 
元 素 kE.% 标 记 。 

(e) 解密 函数 ( 译 码 映 射 ) 的 集合 多 ， 其 中 每 个 函数 D 取 CEB>Di(C)E 名 ， 并 上 且 被 
元 素 kE .再 次 标记 。 

使 得 : 

O 对 于 所 有 的 密 钥 eE.% ， 存 在 一 个 密 钥 4€E%， 对 于 所 有 纯 文本 PE 名 具有 性 质 
Di (E.(P))=P. 
例子 4. 5. 14 假设 两 个 人 ，Bob 和 Alice， 准 备 举 行 一 个 双边 私人 通信 。 他 们 想 通 过 使 用 
一 个 不 安全 的 二 进 制 信道 交换 他 们 的 密 钥 ，E4A 和 Es。 一 个 简单 的 协议 如 下 ，Alice 将 纯 
文本 m 加 密 为 Es (m) 之 后 发 送 给 Bob。 他 将 接收 的 信息 加 密 为 Es (Ea (m)) 之 后 返回 给 
Alice。 现 在 我 们 做 出 一 个 关键 性 的 假设 E 和 Es 对 任何 纯 文本 m' 是 可 交换 的 : 
E, ° Eg lm) 二 Es。Ea(m')。 这 种 情况 下 ，Alice 可 以 解密 这 个 信息 为 Da CE, (Ep (m))) = 
Es(m) 并 且 发 送 给 Bob， 然 后 Bob 计算 出 Ds(Es(m)) 二 mm。 在 这 个 协议 下 ， 在 通信 过 程 中 
决 不 是 一 个 未 加 密 的 信息 传输 。 

然而 ， 更 进一步 的 思考 证 实 这 完全 无 解 。 确 实 ， 假设 Alice 使 用 一 次 一 密 ka, Bob 使 
用 一 次 一 密 ks。 那 么 任何 单 次 侦 听 都 无 法 对 发 送 的 信息 m 进行 提高 。 然 而 ， 如 果 所 有 的 
三 个 传输 都 被 侦 听 ， 那 么 就 足以 通过 取 和 

(m+ka) + (m+ka +k) + (m+kp) =m 
来 获得 纯 文 本 m。 所 以 需要 开发 更 加 复杂 的 协议 : 这 也 是 公 钥 密码 系统 有 用 的 地 方 。 

另 一 个 通俗 的 例子 是 ， 在 股票 市 场 进行 交易 的 投资 者 和 经 纪 人 组 成 的 网 络 ， 他 们 使 用 
开放 存 取 密 码 系 统 ， 例 如 RSA。 投 资 者 顾虑 一 个 经 纪 人 会 在 不 经 过 授权 的 情况 下 购买 股 
票 ， 并 且 在 亏损 的 时 候 声称 他 有 一 个 委托 人 的 书面 请 求 。 确 实 ， 经 纪 人 生成 一 个 要 求购 买 
股票 的 命令 是 很 容易 的 ， 因 为 编码 的 密 钥 不 受 版 权 的 限制 。 另 一 方面 ， 经 纪 人 可 能 会 担心 
如 果 他 根据 投资 者 的 请 求购 买 了 股份 ， 并 且 股 票 市 场 下 滑 ， 投 资 人 可 能 会 声称 他 从 来 没有 
指示 进行 这 个 交易 并 且 他 的 编码 申请 是 假 的 。 

然而 ， 可 以 很 轻松 地 开发 一 个 协议 来 解决 这 些 担忧 。 投 资 人 Alice 在 给 经 纪 人 Bob 发 
送 购 买 股票 的 请 求 p 的 同时 发 送 她 的 “电子 签名 ”fsfa。 '(p)。 在 接 到 这 个 信息 之 后 ， 
Bob 发 送 一 个 编码 为 fafs “'(7) 的 接收 凭证 +。 如 果 产 生 了 冲突 ， 那 么 双方 可 以 提供 编码 
信息 和 密 钥 给 第 三 方 ( 称 为 法 庭 ) 。 因 为 除了 Alice 之 外 没有 人 可 以 生成 由 fofa “编码 的 
信息 并 且 除 了 Bob 没有 人 可 以 生成 由 ffs “编码 的 信息 ， 这 样 就 没有 异议 了 。 这 就 是 比 
特 承 诺 的 主 骨 。 上 面 提 到 的 RSA(Rivest-Shamir-Adelman) 方 案 是 一 个 关于 公 和 钥 密 码 系 统 
的 最 好 例子 。 这 里 ， 一 个 接收 用 户 (Bob， 可 能 是 一 个 集合 元 素 ) 设 定 

N= pq， 其 中 志和 gq 是 两 个 大 的 素数 ,被 保密 (4. 5. 21) 
数字 N 通常 被 称 为 RSA 模 ( 公 开 的 ) 。 欧 拉 函 数 的 值 为 
$CN) = (p 一 1)(g 一 1)， 被 保密 
接 下 来 ， 接 收 用 户 选择 (或 者 由 密 钥 中 心 给 出 ) 一 个 整数 1 使 得 
1<1<¢(N) # ged ($(N),1) =1 (4. 5. 22) 
最 后 ， 整 数 d 可 以 计算 出 来 (再 次 通过 Bob 或 者 他 自己 )， 使 得 
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1<d<#(N) 和 和 Id =1 mod ¢(N) (4. 5. 23) 

(qd 的 值 可 以 通过 扩展 的 Euclid 算法 计算 ) 用 于 加 密 的 公 钥 es 是 数 对 (N，7)( 列 在 公共 目录 

中 )。 发 送 方 (Alice) 在 与 Bob 通信 时 ， 知 道 Bob 的 纯 文 本 和 密 文集 合 为 到 = 留 ={1，…， 
NN 一 1}。 然 后 她 将 她 选择 的 纯 文本 m=1, ++, N—1 编码 为 密 文 

EN EN (4. 5. 24) 

Bob 的 私 钥 ds 是 数 对 (N，d)( 或 者 是 简单 的 数字 d): 这 对 于 公众 来 说 是 保密 的 ， 但 

是 Bob 是 知道 的 。 接 收 方 解 密 密 文 c 为 
D,(c) = ct mod N (4. 5. 25) 
在 文献 中 ，/ 经 常 被 称 为 加 密 ， 而 d 被 称 为 解密 指数 。 下 面 的 定理 4. 5. 15 将 会 确保 
D,(c) = m® = m mod N (4. 5. 26) 
即 密 文 < 被 正确 地 解密 。 更 准确 地 说 ， 
定理 4.5.15 对 于 所 有 的 整数 m 二 0，*…，N 一 1， 当 7 和 d 满足 式 (4. 5.22) 和 (4.5.23)， 
NN 如 式 (4.5.21) 所 示 时 ， 等 式 (4. 5. 26) 成 立 。 
证 明 根据 式 (4. 5. 23) 
ld =1+6(p—1)(q-1) 
其 中 0 是 一 个 整数 。 那 么 
(m')4 = me z= m D(a =m Cm? 2 yee 
回想 Euler-Fermat 定理 : 如 果 gcd(m, p)=1, BA m*” =1 mod p. 
我 们 推导 出 如 果 m 不 可 被 p BR, WA 
(m)*=mmodp (4.5. 27) 
否则 ， 即 如 果 当 如 | 时 ， 因 为 m 和 (m')* SF OCR p), RU. 5.7) 依 然 成 立 。 以 此 类 推 
(m)! = m mod q (4. 5. 28) 
根据 中 国 剩余 定理 (CRT，Chinese remainder theorem) (文献 [28]、[L114]) 式 (4. 5.27) 和 
式 (4.5.28) 推 出 式 (4. 5. 26). Oo 
例子 4.5.16 假设 Bob 已 经 选择 p=29, q=31, N=899, JF HA O(N) =840, Æ gcd(l， 
@(N))=1 的 情况 下 e 可 能 的 最 小 值 为 :二 11， 之 后 是 13 紧 随 其 后 的 是 17， 等 等 。( 扩 展 
的 )Euclid 算法 得 到 当 /==13 时 ,d= 二 517; 4l=ll 时 ，d=611， 等 等 。 在 第 一 种 情况 下 ， 
加 密 密 钥 Essu 79 
mim" mod 899, # Ess,n (2) = 250 
密 文 250 被 解码 为 
Dsn (250) = 250°" mod 899 = 2 
在 计算 机 的 辅助 下 。 (即使 在 CRT 简化 之 后 还 是 需要 计算 机 。 例 如 Mathematica 中 的 命令 
为 PowerModL250，611，899]。) 
举例 4. 5. 17 (a) 关于 公 和 铀 为 (N， 人 和 私 钥 为 ($CN)，d) 的 RSA 的 密码 系统 ， 讨 论 取 (i) 
1 一 22 十 1 或 者 (iD)a& 一 22 十 1 时 可 能 的 优 缺点 。 

(b) 给 定 一 个 (大 ) 数 N， 并 且 我 们 知道 N 是 两 个 不 同 素数 的 积 ，N 二 pq， 但 是 我 们 不 
知道 具体 的 轧 和 gq。 假 设 另 一 个 正 整 数 m 被 给 定 ， 它 是 $(N) 的 倍数 。 解 释 如 何 找 出 pp 和 g 
的 值 。 

Ce) 描述 如 何 通 过 RSA 的 方法 解 比 特 承 诺 问 题 。 
解答 (a) 用 /=2“ 十 1 提供 快速 加 密 ( 你 只 需要 使 用 重复 平方 的 33 次 乘法 )。 在 d=2" +1 
的 情况 下 可 以 快速 解密 信息 (但 是 攻击 者 可 以 很 容易 猜 到 它 ) 。 
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(b) 接 下 来 ， 我 们 证 明 如 果 我 们 知道 ANRE m, RA VA “RMS” af N。 

给 定 正 整数 y>1 和 M>1, H ordw(y) 表 示 与 M 相关 的 y 的 阶 数 : 
ordy(y) = min[s = 1,2,-++:y' = 1 mod M] 
假设 当 < 之 0，2 HARA m=2°>, + 
X= {z = 1,2; N :ord,(2’) Æ ord, (z*)} (4. 5. 29) 

AE N, Lid, RS m=di—1. AA PCN) |dl 一 1， 我 们 可 以 使 用 下 面 的 引 理 
4.5.18 来 分 解 N。 我 们 选择 <N., 假设 gecdCz，N) 王 1， 反 之 搜索 已 经 成 功 。 找 到 一 个 
非 平凡 因子 的 概率 为 1/2， 所 以 在 7 随机 选择 xEXX 之 后 失败 的 概率 为 1/2”。 

(oc) 比特 承诺 问题 出 现在 下 面 的 情况 : Alice 通过 如 下 方式 给 Bob 发 送信 息 。 

G) Bob 无 法 阅读 信息 ， 直 到 Alice 发 送 更 进一步 的 信息 。 
(ii) Alice 无 法 改变 信息 。 

一 种 解决 方法 为 使 用 电子 签名 : 直到 Alice( 随 后 ) 透 露 了 她 的 私 钥 后 Bob 才能 阅读 信 
息 。 这 不 违反 条 件 (i)，(ii) 并 且 Alice 拒绝 承认 她 的 作者 身份 (合法 地 ) 是 不 可 能 的 。 O 
531 4.5.18 GA N=pq, mai HZL, PEN) |m, HLERA. 5. 29) 所 示 的 集合 
X WR LEX, ABA AL Oa 使 得 gda, N)>1 是 一 个 N 一 加 的 非 平凡 因子 。 

GD A # XS4(N)/2, 
证 明 G) & y=2* mod N, Euler Fermat 定理 表明 zwv =1 mod N， 因 此 有 y = 
1 mod N. HA 

ord, (2°) ford, (2?) 是 2 的 指数 
众所周知 ，ord, (a2°)Aord,(x’); 假设 ord,(z)<ord(z)。 那 么 存在 0<t<a 使 得 
” =] mod p,y’ #1 mod q 

所 以 ， 正 如 所 需要 的 ，ged(y —1, N)=p. 

GD 根据 CRT， 对 于 N<>(p，g)， 有 一 个 双 射 

x € {1 Noe(r mod p;x mod q) E€ (L,e, p} X {1,°*%,g} 
那么 它 足 以 说 明 如 果 我 们 根据 ord, (zx*) ，zE 和 的 值 把 集合 (1，…，z)} 分 为 多 个 子 集 ， 那 
么 每 个 子 集 的 大 小 委 (z 一 1)7/2。 我 们 将 列举 一 个 大 小 为 (z 一 1)72 的 子 集 来 说 明 。 注 意 
$(N)|2% 表明 存在 YE {1,…,p 一 1) ”使 得 ord, (XY) 是 2 W% 
反 过 来 说 ， 后面 的 描述 意味 着 
= ord, (7), 6 为 奇数 


oa fF ord, (7), SAER 
因此 ，{7y62 mod p: 6 为 奇数 } 是 所 需 的 子 集 。 口 
我 们 下 一 个 关于 密码 的 例子 是 Rabin， 或 者 叫 Rabin-Williams 密码 系统 。 这 里 我 们 再 
次 使 用 因 式 分 解 问题 来 确保 安全 性 。 对 于 这 个 系统 ， 与 因 式 分 解 问题 的 关系 被 证 明 是 相互 
的 : 已 知 因 式 分 解 问题 的 解 破坏 了 密码 系统 ， 破 坏 密 码 系统 的 能 力 导 致 了 因 式 分 解 。( 在 
RSA 中 并 不 是 如 此 : 无 法 知道 破坏 一 个 RSA 系统 是 否 能 够 解 因 式 分 解 问题 。) 
在 Rabin 系统 中 接收 用 户 (Alice) 在 随机 的 两 个 大 素数 p Ag 中 选择 ， 其 中 
p=q=3 mod 4 (4. 5. 30) 
此 外 
Alice HAGA N = pq; Hey HHH xt (p,q) 
Alice 的 纯 文本 和 密 文 为 数字 m= 二 0,1*…,N 一 1 (4. 5. 31) 
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并 且 她 的 加 密 准 则 为 Ey Gm) = c, HP c= m mod N 
为 了 对 一 个 发 送 给 她 的 密 文 c 进行 解密 ，Alice 计算 
Wodip th mr mody (4.5.32) 
那么 





mg cl mod Pin Er er nod 
Em, 和 士 m, 分 别 是 < 模 p 和 模 g 的 平方 根 。 事 实 上 
Gem Sc PP? = PPR = (hme = ¢ mod p 
在 最 后 一 步 使 用 了 Euler-Fermat 定理 。 对 于 士 m, 的 证 明 与 此 相似 。 然 后 Alice 通过 Euclid 
算法 计算 整数 ul(p) 和 w(p)， 使 得 
ul(p)p+wvlg)g= 1 

最 终 ，Alice 计算 

+r=+[u(p)pm,+v(q)qm,] mod N 
和 

+s =+ [u(p) pm, — v(q)qm,] mod N 
有 四 个 c 模 NN 的 平方 根 。 纯 文本 m 是 其 中 的 一 个 。 为 了 保证 她 可 以 识别 初始 的 文本 ， 
Alice 可 能 会 减少 纯 文 本 的 空间 ， 只 人 允许 具有 某 些 特殊 性 质 ( 例 如 初始 32 个 和 最 后 32 个 数 
字 互 相 重复 ) 的 纯 文本 ， 两 个 或 两 个 以 上 的 平方 根 不 可 能 具有 这 样 的 性 质 。 然 而 ， 这 样 的 
方法 可 能 会 导致 破解 密码 的 难度 ， 因 为 “简化 ”后 的 问题 并 不 总 是 等 同 于 因 式 分 解 。 


我 总 是 非常 钦佩 毕 德 哥 拉 斯 的 神秘 方法 和 数字 的 秘密 魔力 。 
Thomas Browne(1605 一 1682)， 英 国 作 家 ， 
写作 领域 遍及 医学 、 宗 教 、 科 学 和 谜 传 


例子 4. 5. 19 Alice 使 用 素数 p=11 Al g=23, 那么 N=253, Bob 的 加 密 信息 m=164, Herp 
c= m mod N = 78 
Alice 计算 m,=1, m,=3, u(p)=—2, v(qg=1. AA Alice 计算 
r=t[u(p) pm, + v(q)qm, | mod N = 210 #7 43 
s=+[u(p) pm, — v(qqm, | mod N = 164 fa 89 
并 且 从 解 1642 =78 mod 253 中 找 出 信息 m=164, 
我 们 继续 从 Diffie-Hellman 密 钥 交换 方案 出 发 。Diffie 和 Hellman 提出 一 种 协议 使 一 
对 用 户 能 够 通过 非 安 全 信道 交换 密 钥 。Diffie-Hellman 策略 不 是 一 个 公 钥 密码 系统 ， 但 是 
它 的 重要 性 得 到 了 广泛 的 认可 ， 因 为 它 形成 了 ElGamal 签名 密码 系统 的 基础 。 
Diffie-Hellman 协议 与 离散 对 数 问题 (DLP，discrete logarithm problem) 有 关 : 我 们 有 
一 个 素数 p, REEN FZ, 的 生成 子 ( 即 一 个 下 WAT Ay 的 域 F,。 那 么 对 
FRAN OCF; ， 存 在 一 个 唯一 的 a€ 10，1，…，p 一 2)， 使 得 
b = y* mod p 455233) 
那么 a 被 称 为 离散 对 数 ， 模 p, by 为 底 的 对 数 ， 某 些 作 者 写成 a=dlog,b mod p。 计 算 
离散 对 数 被 认为 是 一 个 困难 的 问题 : 没有 已 知 的 有 效 ( 多 项 式 ) 算 法 ， 尽 管 没 有 证 据 表 明 这 
确实 是 一 个 非 多 项 式 问题 。( 在 一 个 加 性 循环 群 Z/(nZ) 中 ，DLP ÆW b=ya mod n, FHA 
通过 Euclid 算法 求解 。) 
对 于 足够 多 的 素数 p, Diffie Hellman 协议 允许 Alice 和 Bob 使 用 针对 F, 的 域 表 建 立 
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一 个 共同 的 密 钥 。 这 样 的 话 ， 他 们 知道 一 个 在 各 自 域 中 的 本 原 元 素 7Y。 他 们 同意 固定 一 个 
大 的 素数 p 和 一 个 本 原 元 素 YEF,。 数 对 (p，7) 可 能 是 公开 的 : Alice 和 Bob 可 以 通过 非 
安全 信道 确定 p My. 

接 下 来 ，Alice 随机 选择 cE {0，1，…，p 一 2}， 计 算 

A = y* mod p 
然后 把 A RIE Bob, a 被 保密 。 对 称 地 ，Bob 随机 选择 DE {0, 1, =, p—2}, HA 

B = y’ mod p 
然后 把 BRIE Alice, 5 被 保密 。 那 么 

Alice 计算 B° mod p,Bob 计算 A’ mod p 
他 们 的 密 钥 是 同样 的 值 
下 三 wsRS AoA 
攻击 者 可 能 要 拦截 p, Y，A 和 B, 但 是 都 不 知道 
a=dlog,A modp 和 b= dlog,B mod p 

如 果 攻 击 者 可 以 找到 离散 对 数 模 p， 那 么 他 可 以 破解 密 钥 : 这 是 唯一 已 知 可 以 这 么 做 的 方 
法 。 对 于 道 问题 一 一 如 果 他 可 以 破解 协议 就 可 以 解 这 个 离散 对 数 问 题 一 一 是 开放 的 (这 在 
公 钥 密码 系统 中 被 认为 是 一 个 重要 的 问题 ) 。 

然而 ， 像 之 前 讨论 的 方案 ，Diffie-Hellman 协议 有 一 个 特殊 的 弱点 : 对 于 中 间 人 攻击 
这 种 协议 是 很 脆弱 的 。 这 里 ， 攻 击 者 利用 了 这 样 一 个 事实 : Alice 和 Bob 都 不 能 证 明 给 定 
的 信息 实际 上 来 自 对 方 而 不 是 来 自 第 三 方 。 假 设 攻击 者 可 以 截获 Alice 和 Bob 之 间 的 所 有 
信息 。 假设 他 可 以 模仿 Bob 去 和 Alice 交换 密 钥 ， 同 时 模仿 Alice 去 和 Bob XRH. 
么 就 需要 使 用 电子 签名 来 辨别 这 种 伪造 。 

我 们 用 基于 电子 签名 的 EIGamal 密码 系统 来 总 结 4.5 节 。ElGamal 密码 可 以 被 认为 是 
一 种 Diffie-Hellman 协议 的 发 展 。 两 种 方案 都 是 基于 离散 对 数 问题 CDLP) 的 困境 。 在 El- 
Gamal 系统 中 ， 接 收 用 户 Alice 选择 一 个 素数 p 和 一 个 本 原 元 素 YE F。 接 下 来 她 随机 选 
择 一 个 指数 a€ 10，…，p 一 2} ,计算 

A = ý" mod p 
并 且 声明 /广播 
三 元 组 (zj,y,A) ,她 的 公 铀 
与 此 同时 ， 她 保密 
指数 a, 她 的 私 钥 
Alice 的 纯 文本 集合 多 为 数字 0,， 1，…,，p 一 1。 
另 一 个 用 户 Bob， 期 望 给 Alice 发 送信 息 并 且 已 知 三 元 组 (p,，yY，A)， 再 次 随机 选择 
一 个 指数 5E {0，1，…，p 一 2} 并 且 计 算 
B = y’ mod p 
然后 Bob 让 Alice 知道 B( 可 以 通过 广播 B 的 值 做 到 )。B 的 值 扮演 着 Bob 的 “数字 签名 ” 
的 作用 。 与 此 相反 ，Bob 的 指数 5 被 保密 。 
现在 ， 给 Alice 发 送信 息 mE {0，1，…，p 一 1}，Bob AA m 通过 数 对 
E;n) = (B,c), c= A’m mod p 
BN, Bob 的 密 文 由 两 部 分 组 成 : 加 密 信息 c 和 他 的 数字 签名 B。 

RER. 值 A 和 B 是 Diffie-Hellman 协议 的 一 部 分 ; 在 这 种 意义 下 ， 后 者 可 以 被 认为 

是 ElGamal 密码 的 一 部 分 。 此 外 ， 加 密 信 息 c 是 mm REA WH, A HAT Alice HAH 
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部 分 A 和 Bob 的 指数 5。 

当 Alice 接收 到 密 文 (B，c) 时 ， 她 使 用 她 的 密 钥 <。 换 名 话说， 她 用 B Bee Rp. — 
种 方便 的 方法 是 计算 z=p 一 1 一 a: AW 1l1<a<p-2, H r he l<r<p—2, PA 
Alice 通 过 B*c mod p 解密 c。 这 样 得 到 初始 信息 mx， 因为 

Bre = ¥°(p—1—a)A’m = yA = A*A’m = m mod p 
GIF 4.5.20 XF p=37, y=2 Ma=12, 我 们 有 
A = y° mod p = 26 
Alice WA 4 (p=37, y=2, A=26), WAY ARCA A O0, 1, =, 36, HAMA a= 
12, 假设 Bob BAT b=32, 那么 
B= 2" mod'3s7 = 4 
假设 Bob 想 发 送 m= 二 31。 他 通过 如 下 方式 加 密 m 
c = A'm mod p = (26) mod 37 = 10 X 31 mod 37 = 14 

Alice 解码 这 个 信息 为 2° =7 Al 7” =26 mod 37 

14 X 242) mod 3T 14 X 7 S14 X 26 modo n= 31 
举例 4.5.21 假设 Alice 想 通过 ElGamal 密码 系统 发 送信 息 “today” 给 Bob。 描 述 她 如 使 
用 如 下 参数 : p=15485863, y=6 作为 一 个 本 原 根 模 p， 她 选择 5 二 69。 假 设 Bob 的 私 铀 
a 二 5。Bob 如 何 使 用 数学 程序 来 恢复 信息 ? 
解答 Bob 有 公 钥 (15485863，6，7776)，Alice 也 获得 了 它 。 她 将 英文 的 纯 文本 通过 使 用 
字母 顺序 转化 为 等 效 的 数值 ，19，14，3，0，24。 因 为 26’ 二 p 二 26: ,她 可 以 将 这 个 纯 文 
本 信息 表示 为 一 个 5 位 的 基 为 26 的 整数 : 

m = 19 X 264 +14 X 26° +3 X 26? +0 X 26 +24 = 8930660 
现在 她 计算 y =6° =13733130 mod 15485863, AKA 
my® = 8930660 X 7776" = 4578170 mod 15485863 

Alice 发 送 c= (13733130, 4578170) Bob。 他 用 他 的 私 钥 来 计算 

(7° )*** = 1373313015835 — 2620662 mod 15485863 
All 

(yy “my” = 2620662 X 4578170 = 8930660 mod 15485863 
并 且 将 信息 变 回 英文 原文 。 口 
举例 4. 5. 22 (a) 对 于 将 信息 工 编码 为 工 并 以 某 个 N 为 模 ， 描 述 Rabin-Williams 方案 。 
证 明 如 果 N 的 选择 适当 ， 破 解 这 个 码 等 同 于 分 解 两 个 素数 的 积 。(b) 描述 一 个 公 铀 为 e， 
私 钥 为 4d， 两 个 大 素数 的 积 为 N 的 RSA 系统 。 

给 出 一 个 简单 的 例子 说 明 为 什么 对 于 同 态 攻击 来 说 这 样 的 系统 是 很 脆弱 的 。 解 释 一 个 有 
数字 签名 的 系统 是 如 何 避 免 这 种 攻击 的 。 解 释 当 e,，d 和 NN 已 知 的 情况 下 如 何 对 N 进行 因 式 
分 解 。 
解答 (a) 固定 两 个 大 素数 p, q=—1 mod 4， 形 成 一 个 私 钥 ; 广播 的 公 钥 为 积 N= pq. 
使 用 的 性 质 如 下 : 

O WR p 为 素数 ， 同 余 a =d mod p 有 最 多 两 个 解 。 

Gi) 对 于 素数 p=—1 mod 4， 即 p=4k—1, MRAR a’ =c mod p 有 一 个 解 ， 那么 
amc to mod p E — TR, HA aS—cltP" mod pRA— Te. AK, MR c= 
a mod p， 那 么 根据 Euler-Fermat EM, =a" =a Vt? =a? mod p, KIH =a.) 

这 个 信息 是 来 自 于 .NM 二 {0，1，…，N 一 1} 中 的 一 个 数字 m。 加 密 者 (Bob) 发 送 (广播 ) 
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m=m mod N。 解 密 者 (Alice) 使 用 性 质 (iD 来 恢复 m mod $p 的 两 个 可 能 值 和 mr mod q 的 
两 个 可 能 值 。 那 么 CRT 产生 四 个 可 能 的 mm 的 值 : 三 个 错 的 ， 一 个 对 的 。 

所 以 ， 如 果 可 以 对 N 进行 因 式 分 解 ， 那 么 码 是 可 以 破解 的 。 相 反 ， 假 设 我 们 可 以 破 
解 一 个 码 ， 那 么 对 于 一 个 总 的 x， 我 们 可 以 找到 四 个 不 同 的 平方 根 uis uz, uss u, mod 
N. (CCRT 加 法 性 质 GD 表明 x 有 零 个 或 者 四 个 平方 根 ， 除 非 它 是 记 和 da 的 倍数 。) 那 么 


uu (通过 Euclid 算法 可 计算 ) 产 生 四 个 平方 根 1， 一 1，s 和 se，1 mod N, HP 
El = 1 mod p,e =— 1 mod q 

和 
e: =— 1 mod pyes = 1 mod q 


通过 交换 p 和 g， 如 果 需 要 的 话 ， 我 们 可 以 假设 我 们 已 经 知道 了 81。 因为 &1 一 1 可 以 被 
整除 而 无 法 被 g 整除 ， 所 以 gede l, N)=p; 这 样 的 话 p 可 以 通过 Euclid 算法 找到 。 
那么 g 也 可 以 确定 。 
事实 上 ， 可 以 通过 如 下 方法 来 做 。 假 设 我 们 可 以 找到 平方 根 模 N， 我 们 随机 选取 x Ff BR 
同 余 r =y mod N。 当 概率 为 1/2 时 ， 我 们 有 zAty mod N， 那 么 gcd(z 一 y，N) 是 NN 的 非 平 
凡 因 子 。 我 们 重复 这 个 过 程 直 到 我 们 确定 一 个 因子 ， 在 次 尝试 之 后 成 功 的 概率 为 1 一 2“。 
(b) 为 了 定义 RSA 密码 系统 ,我们 随机 选择 大 素数 p Aq. MH Fermat’s little 定理 
zt’ = 1 mod p,x”! =1 modq 
因此 ， 通 过 令 N=pq 和 X(N)= 二 lem(p 一 1，q 一 1)， 对 于 所 有 的 与 N 互 素 的 整数 zx， 我 
们 有 
a’ =1 mod N 
接 下 来 ， 我们 随机 选择 e。 要 人 么 Euclid 算法 可 以 揭示 e 与 CN) 不 是 互 素 的 ， 要 么 我 们 
可 以 使 用 Euclid 算法 来 找到 d 使 得 
de = 1 mod A(N) 
有 很 高 的 概率 在 几 次 尝试 就 给 出 合适 的 d 和 e。 
我 们 现在 给 出 公 钥 e 的 值 和 的 值 ， 但 是 对 私 钥 d 保密 。 给 定 一 个 信息 m, WEI 
m 二 N 一 1， 它 被 编码 为 整数 c， 满 足 
l<c<N-1 f c= m mod N 
除非 m 与 NN 不 是 互 素 的 (一 个 小 概率 事件 )， 否 则 我 们 可 以 通过 观察 如 下 式 子 进行 解码 
m = m* = c mod N 
作为 一 个 同 态 攻击 的 例子 ， 假 设 系统 被 用 于 传输 一 个 数字 m( 需 要 支付 的 钱 数 ) 并 且 某 
人 用 c 替换 了 编码 信息 <。 那么 
(c d = mt = m 
信息 的 接收 方 相信 和 需要 支付 的 钱 数 为 m. 
假设 数字 签名 B(m) 也 被 编码 并 且 传 输 ， 其 中 B 是 一 个 多 对 一 的 没有 简单 代数 性 质 的 
函数 。 那 么 ， 上 面 的 攻击 者 会 产生 一 个 信息 和 数字 签名 ， 它 们 不 相对 应 ， 并 且 接 收 方 会 知 
道 信 息 是 被 自 改 过 的 。 
假设 e，d 和 NN 是 已 知 的 。 因 为 
de — 1 = 0( mod A(N)) 
并 且 ACN) RM, de—1 BRM. KIH b AAAI Ha> HM, de—1=2%, 
随机 选择 z。 令 z=xb mod N, RH CRT， 当 和 且 仅 当 z 是 1 mod p 和 g 的 平方 根 时 ， 
它 是 1 mod N= pg 的 平方 根 。 因 为 F 是 一 个 域 ， 
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xz’ =1 mod p@(x—1)(x+1) =0 mod p 
(1—1) 三 0mod 力 或 (十 1) =0 mod p 
因此 1 有 四 个 平方 根 w mod N, WE w=+1 mod p Mlw=+1 mod g。 换 句 话 说 ， 
w= 1 mod N,w =— 1 mod N 
w = w mod N,## w =1 mod p E w, =— 1 mod q 
或 者 
w= w,( mod N) ,其 中 避 =— 1 mod p Hw; =1 mod q 
现在 z(1 mod N 的 平方 根 ) 无 法 满足 z=1 mod N。 如 果 w=—1 mod N， 非 常 不 幸 我 们 还 
得 再 试 一 次 。 否 则 我 们 知道 x 十 1 与 0 mod NN 不 同 余 ， 但 是 却 可 以 被 N 的 两 个 素数 因子 中 
的 一 个 整除 。 可 以 利用 Euclid 算法 得 到 共同 因子 。 在 已 经 找到 一 个 素数 因子 的 情况 下 ， 我 
们 可 以 通过 除法 或 者 查找 z 一 1 发 现 另 一 个 。 
因为 1 的 平方 根 在 代数 上 是 无 法 区 分 的 ， 所 以 这 种 方法 失败 的 概率 随 着 尝试 次 数 的 增 
加 趋向 于 零 。 口 


4.6 本 章 附 加 问题 


问题 4.1 (a) SND Ae PEO, DERE ASO 的 Poisson 过 程 。 假 设 (N,) 里 的 每 
一 跳 中 概率 为 p 被 算 作 类 型 1， 概率 为 1 一 pp 被 算 作 类 型 2， 其 中 跳 与 跳 之 间 是 独立 的 ， 并 
且 与 Poisson 过 程 也 是 独立 的 。 令 M, 为 类 型 1 跳 在 时 间 守 时 的 数目 ，M, ® =N,—M, 9 
为 类 型 2 跳 在 时 间 守 时 的 数目 。 求 过 程 对 (MD )>o 和 (M52 ),>o 的 联合 分 布 。 如 果 我 们 设 定 
有 了 罗 种 类 型 (并 不 是 两 种 类 型 ) 的 概率 轴 ，…， 加 ， 轴 十 … 十 加 1， 这 会 是 什么 样 的 情况 ? 

(b) 在 速率 为 六 的 Poisson 过 程 (N,),>o 的 跳 转 时 刻 ， 一 个 人 以 每 次 一 人 的 方式 收集 优 
惠 券 。 有 人 型 优惠 券 ， 每 次 了 型 优惠 券 以 概率 p; 被 收集 ， 并 且 与 之 前 所 收集 到 的 优惠 券 
不 相关 ， 与 Poisson 过 程 也 不 相关 。 令 人 为 所 有 的 优惠 券 都 被 收集 的 第 一 时 间 ， 证 明 


KT <2) = J] -e") (4, 6. 1) 


4 L=Nr 表示 优惠 券 类 型 的 全 集 被 获得 时 所 收集 优惠 券 的 总 数 。 证 明 AET=EL, KX 
相反 ， 推 理 得 EL 与 人 无关。 
解答 (a) 部 分 直接 根据 Poisson 过 程 的 定义 可 得 。 
(b) S T; 为 收集 到 类 型 i 的 优惠 券 的 第 一 时 间 ， 那 么 厂 一 Exp(zA)， 对 于 不 同类 型 
7 它们 是 互相 独立 的 。 我 们 有 
TEST 
因此 


P(T <t) = P(max[T, .*",T,]<t) = J] CT, <) = [J a—e**) 
j=l 


j= 


接 下 来 ， 我 们 观察 随机 变量 计数 初始 Poisson 过 程 (N,) 的 跳 转 ， 直 到 收集 到 优惠 券 类 
型 的 全 集 时 为 止 。 即 


TS 
其 中 S, ，S;，… 是 在 (NN,) 中 的 持续 时 间 ， 并 且 有 S; 一 Exp(CA) ， 对 于 不 同 的 ) 是 互相 
独立 的 ， 那 么 
E(T|L =n) = nES, = na 
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此 外 , 工 与 随机 变量 S, Sp, ，… 是 独立 的 。 因 此 
ET = DS PL = n)K(T|L = n) = ES, >)nP(L = a) = A" EL 


n>m n>m 


但 是 
eee 


mil, -1 a- e Jar 


a EN 

并 且 RHS 与 4 无 关 。 

相当 于 ， 不管 前 面 的 收集 结果 ， 对 于 获得 类 型 ; 的 优惠 券 的 概率 为 p;， 当 收集 发 生 在 
正 整数 时 间 三 1，2，… 时 , 工 被 定义 为 收集 到 优惠 券 全 集 所 需 的 收集 数目 。 在 这 种 结构 
下 , 4 不 出 现 ， 所 以 均值 EL 不 依赖 于 (事实 上 是 因为 工 的 整体 分 布 )。 o 
问题 4.2 排队 系统 在 PSE II 中 进行 了 详细 的 讨论 。 我 们 经 常 涉及 这 个 话题 是 因为 它 可 以 
在 点 过 程 中 提供 非常 丰富 的 例子 。 考 虑 一 个 个 队列 的 排队 系统 ， 每 个 队列 里 可 以 有 无 限 
多 的 顾客 ， 其 中 对 于 i 二 1，…*，k 一 1]， 顾 客 在 离开 第 i 个 队列 的 同时 到 达 第 (i 十 1) 个 队列 。 
到 达 第 一 个 队列 符合 速率 为 入 的 Poisson 过 程 。 对 于 所 有 的 i， 第 i 个 队列 的 服务 时 间 与 分 
布下 都 是 独立 的 ， 而且 与 其 他 队列 的 服务 时 间 也 是 互相 独立 的 。 假 设 初 始 时 系统 是 空 的 ， 


用 Vi( 四 表示 在 队列 i 中 ， 时 间 t 宇 0 时 的 顾客 数目 。 证 明 Vi(t)，…，Vi(i) 是 互相 独立 的 
Poisson 随机 变量 。 
在 F(z) 二 1 一 e-* 的 情况 下 证 明 
BY = APCN, > i),t > 0,5 = 1,48 (4. 6. 2) 
# 
FP ON, oo 23K FA u t Poisson 过 程 。 


假设 现在 第 一 个 到 达 队 列 在 时 间 工时 停止 。 确 定 第 i 个 队列 在 每 个 时 间 t 宇 T 时 的 顾 
客 平均 数 。 
解答 ”我 们 将 乘积 定理 应 用 到 随机 向 量 为 Y,=(S), +, SORANA Poisson 过 程 中 ， 其 中 
Si 是 第 i 个 队列 中 第 nn 个 顾客 的 服务 时 间 。 那 么 
Vi(z) = 二 第 i 个 队列 在 时 间 t 的 顾客 数 


= Dyce at J, alk ADAH n AAP 
EM LAB PAB Ie BREA PD 

= S110, > 0,5!,, S'S 0 
TEENE d a Piee 
= DEJ, (Si SiD € AD] = MA) 


这 里 (J,: n€ 和 表示 一 个 速率 为 的 Poisson 过 程 的 跳 转 时 间 ， 在 (0，) 又 本 上 的 测度 
M 和 w 定义 为 


M(A) = SCOT NE A),A C (0,00) X Rt 


n=1 
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和 
v((0,t] X B) = atu (B) 
乘积 定理 表明 M 是 一 个 关于 紧 测 度 v WEO, co) XR4_ 上 的 Poisson 随机 测度 。 接 下 来 ， 
集合 AGCO, <)XRR ELJ 
Aj(t) = (irt ee as < 0 
Hrt’ +e t Starts Hees} 
TORNI. SAE Ee ti S 0 


a5 <t-r< S } 
对 于 i 二 1，…, kM A) WARE RY CEE 1 一 t 时 可 以 落 到 随后 的 部 分 和 STs! 
l=1 


与 ys 之 间 一 次 )。 所 以 随机 变量 V (2) WIARY Poisson 随机 变量 。 


一 个 直接 的 验证 是 通过 联合 的 MGF， 也 就 是 令 Ni 一 Po(Cb) 为 在 时 间 上 到 达 第 一 
列 的 数目 。 那 么 可 以 写 为 
My, ovo Oi s*es 0) = Eexp lh V: GD + e +H AV) 


= E| E exp( ALO [Nasan] 
RK, AE n=l, 2, MROK <n t WARREN 
Bexp( DOV |N, =n; Sns aSa zE ta) 


i=ì 


= Bexo( 318 JYE; SSD) € Ai(D]) 


n k 
=Kexp( >) 51010 (x; .(S} 5°59) € Ai(D]j 


j=1 i=l 


= J] Bexe( 320 IL (x) ,(S} 4,51) € A) 
接 下 来 对 ， 进行 求 和 ， Mics ts Ta 进行 积分 : 


E| Bexp( SOV) | Nis ,es ) |s Dre fff 
fs 
x [] Bexo( ARG 554) € A] ) dei demi dr, 


k ae ait Eexp( Sales se S))E A,(t)]) dc)" 


xpla | a 3 i E€ AWD — 1 |a) 
i=l 


=exp| A Bf» >) PC(r,(S! s* + ,S*)) E A,(t)) (es — Ddr | 


Hefe =1)A | 人 Sis! EF 5)s')ar| 
对 于 一 个 给 定 的 MGF， 根 据 随 机 变量 的 唯一 性 ， 可 得 
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t i-l i 
Vii) ~ Pofa [P(X S < t-< BD)S')dr)， 相互 独立 483 
如 果 F(z) 二 1 一 e。 “， 那 么 部 分 和 Si Sı 十 S,，… 标 记 了 速率 为 y 的 Poisson 过 程 (N.,) 后 
面 的 点 。 在 这 种 情况 下 ，EV,(z) =A (EF 


af eSis < 一 :< DIS") de= af PCN, = i= Dede 
= AE fas, £7 ba aPC, > 
最 终 ， 写 出 在 时 间 TT 关闭 入 口 之 后 时 刻 t 时 队列 i 中 的 顾客 数 V;(t:，T)。 即 
EV, (t,T) = al PN. a i— Ddr = ab] AN, = i— Dds 


= LPN, >D — PN,r > 0] 口 
问题 4.3 超市 的 用 户 到 达 时 间 形 成 了 速率 为 的 Poisson 过 程 。 每 个 顾客 花 一 个 随机 长 
度 的 时 间 S 来 挑选 要 购买 的 物品 ， 其 中 S 对 于 在 时 间 t 到 达 的 顾客 来 说 有 PDF(f(s, t): 
5 宇 0)。 顾 客 之 间 的 行为 互相 独立 。 在 收银 人 台 要 花费 时 间 5(S) 来 结账 。 超 市 有 一 个 政策 ， 
就 是 顾客 不 应 该 在 收银 台 等 待 ， 所 以 根据 需求 要 有 更 多 的 可 以 使 用 的 收银 台 。 求 
(i) 第 一 个 顾客 在 第 二 个 顾客 到 来 之 前 的 概率 。 
Gi) 在 时 间 人 收银 台数 目的 分 布 。 
解答 (i) WRI, 为 第 一 个 顾客 的 到 达 时 间 ， 那 么 六 十 Si 为 他 进入 收银 台 的 时 间 ， 矿 十 
S+tg(S ) 为 他 离开 时 的 时 间 。 令 J: 为 第 二 个 顾客 到 达 的 时 间 。 那 么 Ji J= Ji~ 
那么 
P(S, FCG) <J,2-JD= | diac |, dns f ds; f(s; 9t,)1¢s, Hegla) < te) 
S fdha | dizAe “2 


sitet) 


s I. dt,Ae™: |, ds Fes oli De are? 
GD S N? 表示 在 时 间 了 工时 使 用 的 收银 台数 目 。 根 据 乘 积 定理 4.4.11， 可 知 NP ~ 
Po(A(T))， 其 中 
T co 
DS af. duf E T E wa ate G 
T oa 
= 1 du defts, wilt — eta ese 1 
事实 上 ， 如 果 在 时 间 工时 到 达 顾 客 的 数目 是 NY ~PoAT), Wale 
NF 
P= PIJ HS <T J: +S: +g) 
ist 


其 中 MGF 为 
Eexp(@N?') = EL E(exp(ONf) | NF; Ji ses J ne) 


= T ie ty) 
=e Sat] S f? [[mexplorce, +8, <T i + S; + gS Jdr ede 
= 0 Qe 
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0 


k [T i 
=e A. | TI Bexplonces +S; < T< t + S: + gS Jan de 
k= 0 j=1 


= T 
=e >) al, Eexp[0l t +S <T < t+S+g(S))])k 


© 
4 


al E(expL@1i¢+S< F<t+S+g(S))]— Dae | 


ai 
[ 


dl’ 
exp| Me 一 D | PU+S<T<t+S+g(S))dr] 
0 


= exp[ e — Da f F Fowiuts<T< u+ s+ g(s))dsdu | 

它 验证 了 上 述 结论 。 口 
问题 4.4 图 书馆 的 开门 时 间 为 上 午 9 点 到 下 午 5 上 点。 下 午 5 点 之 后 没有 学 生 进入 图 书馆 ， 
但 是 已 经 在 图 书馆 里 的 学 生 可 以 待 到 5 点 之 后 。 在 上 午 9 点 到 下 午 5 点 这 段 时 间 ， 学 生 到 
达 图 书馆 的 时 间 满 足 速率 为 人 的 Poisson 过 程 。 每 个 学 生 待 在 图 书馆 的 总 时 间 互 是 随机 
的 ， 即 O<H<8 是 PDF A h himt, BELHJ=1,. KAFAKRARHBHH SM 
立 同 分 布 的 随机 变量 。 

(a) 求 在 下 午 3 点 到 4 点 之 间 离 开 图 书馆 学 生 人 数 的 分 布 。 

(b) 证 明 在 下 午 3 点 到 4 点 之 间 离 开 图 书馆 学 生 的 平均 人 数 是 下 [min(1， 
(7—-H)+)], EP w KH maxi w, 0]. 

(c) 在 关门 时 仍然 在 图 书馆 的 学 生 人 数 是 多 少 ? 
解答 ”图 书馆 的 开门 时 间 是 上 午 9 点 到 下 午 5 点。 学 生 的 到 达 满 足 PP(X)。 这 个 问题 等 价 
于 M/GI/o 排 队 。( 直 到 下 午 5 点 ,不 允许 任何 人 再 进入 的 限制 是 有 用 的 ， 但 涉及 更 早 时 
间 的 问题 这 个 限制 是 不 重要 的 。) 

FA, 表示 第 个 学 生 的 到 达 时 间 。 用 24 小 时 制 表示 。 

用 H, 表示 第 个 学 生 待 在 图 书馆 的 时 间 。 

同样 使 用 乘积 定理 4. 4. 11 关于 原子 (J,，Y,) 在 (0，8)X(0，8) 上 的 随机 测量 ， 其 中 
Jn: nE€N) 是 到 达 时 间 ，(Y,: nE NN) 是 学 生 待 在 图 书馆 的 时 间 。 通 过 jy((0, 1) xX B= 
àtu(B), NCA) = Dla upev 定义 在 (0，co) XR, EAM RE. 那么 N 是 关于 强度 为 


v(L0. 和 X[0，y]) 一 XtF(y) 的 Poisson 随机 测度 ， 其 中 FCy) 一 | h(z)dz(t = 0 对 应 上 午 
9a). 

(a) 现在 ， 在 下 午 3 点 到 4 点 之 间 离 开 图 书馆 的 学 生 人 数 满足 Poisson 4} 49 Po(v(A)), 
其 中 A=((r, Ss): sE[0, Els 如 果 5 委 6， rEG[0， 7]; 如 果 S2267 rE[o, T=sl} 5 可 得 


WA) = [adre | ds = | 一 Di 一 66 一 DidFCr) 
因此 在 下 午 3 点 到 4 点 之 间 离 开 图 书馆 的 学 生 人 数 满足 速率 为 | [7 一 :一 
(6 — y), |dF(7) 的 Poisson 分 布 。 
(b) 
Gyre he Wires 


6 6<y<7 
Ls yb 
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根据 要 求 ， 在 下 午 3 点 到 4 点 之 间 离 开 图 书馆 的 学 生平 均 人 数 为 
v(A) = | alminca (7 —r)) JdF(r) = AE[min(1,(7 — H).) ] 


(c) 对 于 在 闭 馆 时 间 仍 然 在 图 书馆 的 学 生 ， 我 们 要 求 J+ HS8, Kh H 的 范围 为 [0， 
8], J 的 范围 为 L8 一 互 ，8]。 令 
B= {(t,ż):t € [0,8],a2 € [8—?t,8]} 
因此 有 


vO fa I. dha =a [arco | a 
0 Bt 0 0 
8 8 
= a | @—2)dF(@) = sa | dF(x) = zdF(zx) 
0 0 0 


但 是 因为 f'aro | 和 | zdF(z) = E[H] 二 1, 说 明 X4E[H] = )。 因 此 ,在 闭 馆 时 间 留 在 


图 书馆 的 期 望 学 生 人 数 为 74。 回 
问题 4.5 (i) 证 明 Campbell 定理 ， 即 证 明 如 果 M 是 在 状态 空间 已 上 的 Poisson 随机 测 
Š, APREA pfa: E->R 是 有 界 可 测 函 数 ， 则 有 


EiS ] = exp| | ce" 一 Duddy) | (4. 6. 3) 


其 中 X= | aM) (假定 A=p(E)<00), 

(ii) 在 速率 为 的 Poisson 过 程 的 跳 转 时 间 I), Jas oH HME. HEMMER 
A, ，A,，… 一 Exp(2) 是 满足 参数 为 2 的 独立 同 分 布 的 指数 分 布 ， 且 振幅 以 速率 a SRB 
衰减 。 计 算 在 时 间 上 处 总 振幅 X, 的 MGF: 

X, = AA Ha @— IE 20 
如 果 r0 则 x 二 XxX， 否则 为 0。 
解答 (i) 如 果 存 在 条 件 MCE) =n, M 的 原子 构成 了 分 布 为 二 4 的 随机 样本 Yi os Yas 
因此 
E[ex |M(E) = n]= Ele“ J 
= (| = w(dy) /a) 
因此 有 
ELe*]= DE[Le* |M(E) = n]P(M(E) = n) 


= exp(| (9 一 Ducdy)) 
Gi) Mt HO E=[0, ¢]XR*,. Wo AM ÑE v(ds, dx) =2Ae *dsdz, M(B) = 
lu apen 。 根 据 乘 积 定理 ，M 是 紧 测度 为 v 的 Poisson 随机 测度 。 设 w (s, x)= 


zU—at—s))., MA X,= f ails z)M(ds,da) ;因此 根据 Campbell 定理 ,对 于 0 二 2 时 ， 
有 
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Elenka exp(| Ce — 1)ulds,dz)) 
E 


; Age 
akg exp( QA | en t2-W 1a), ) dds) 
o Jo 


ý : 1 
= at 
exp (2a | ds Ie 


—amin{t,i/a] (7 — 0+ 6amin[t,1/a] y 
2=6 


=e 


site lat, warp [= [+f = 


问题 4.6 在 域 SCR 中 种 植 种 子 。 种 子 是 以 随机 的 方式 播种 意味 着 它们 在 S 上 形成 了 强 
度 为 A(X，y) Poisson 过 程 。 种 子 长 成 植物 后 以 农作物 的 形式 被 收割 ， 在 (Tt，y) 处 植物 重 
量 的 均值 为 m(X，y)， 方 差 为 u(T，y)。 不 同 植物 的 重量 是 独立 随机 变量 。 证 明 所 有 植物 
的 总 重量 WW 是 一 个 随机 变量 且 存 在 有 限 的 均值 


h= | | 2 cewaCeydedy 


和 方差 

I, 3 | (zy)? +olz,y) ACz, y)dzdy 
只 要 这 些 积分 是 有 限 的 。 
解答 ”首先 假定 


= | AG dedy 


是 有 限 的 。 那 么 植物 的 数目 N 是 有 限 的 并 满足 分 布 Po(m) 。 在 条 件 N 上 ， 它 们 的 位 置 可 
以 被 看 成 独立 随机 变量 (X,，Y,)，n 二 1，…，N， 并 且 S 上 的 密度 为 4/x。 那 么 植物 的 重 
量 是 独立 的 ， 且 有 


EW = | mC wae aly a 
和 
EW? = | Cm Gy) hate yy Ala ie asd aod 
其 中 工 ，I 是 有 限 的 ， 因 此 ， 根 据 要 求 


N 
E(W|N) = Owl = Nuh, 
n=l 


和 
N 
Var(W IN) = Goth HD = NG@oh = pp?) 
n=1 
那么 
EW = 下 No 一石 = Ij 
All 


VarW= E[Var(W|N)]+ VarL[E(W|N)] 
= wp l —p Ti) + (Var Np Ti = I; 
如 果 p=co, RADE S 分 解 成 可 积 的 不 相交 集合 S 那么 W = Wo ， 其 中 基于 S 
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上 的 产量 Ww, 是 相互 独立 的 ， 然 后 利用 
EW = SJEW w = D |, mraz ydrdy 


= | mca aCe. y)derdy 


得 到 结论 ，Var W 也 可 以 通过 类 似 方法 得 到 。 E 
问题 4.7 在 本 上 的 不 经 过 原点 O 的 一 条 直线 工 可 以 由 它 离 原 点 O E E po 和 从 
OZZL 的 重 线 与 x 轴 的 角度 0OEL0，2r) 来 定义 。 详 细 解 释 这 种 直线 工 的 Poisson 过 程 是 什 
Aa 

对 于 BCO, œ)X[0, 2r), HAL H—* Poisson 过 程 开 有 均值 测度 如 下 : 


uB) = | | apao (4.6.4) 


一 个 随机 可 数 集合 /中 CC 杷 定义 为 在 互 中 的 直线 对 的 所 有 交集 。 证 明 至 少 在 下 中 有 一 个 点 
在 以 O 为 圆心 ,为 半径 的 圆 中 的 概率 小 于 
lO Dn er 

® Æ — Â Poisson 过 程 吗 ? 
解答 Bitu RR 上 不 经 过 原点 的 直线 空间 .多 的 一 个 测度 。 均 值 测 度 jy 的 一 个 Poisson 
过 程 是 .多 的 一 个 随机 可 数 子 集 I, E1 

(1) 名 的 一 个 可 测 子 集 A 中 区 的 点 数 NCA) 的 分 布 为 Po(w(A))。 

(2) 对 于 不 相交 的 Ars +s Ans N(A;) 相 互 独 立 。 

在 这 个 问题 中 ， 与 原点 为 0， 半 径 为 > 的 圆 卫 相交 的 直线 数目 N 等 于 直线 数目 ， 其 中 
p<r. Ede Poisson 分 布 ， 均 值 为 


f apao A 
如 果 D 中 至 少 存在 更 的 一 个 点 ， 那 么 耳 中 至 少 有 两 条 直线 与 D 相交 ， 这 个 概率 为 
yy Geet = 1-1 + tare 
更 中 一 个 点 位 于 也 中 的 概率 严格 小 于 上 式 ， 因为 可 能 与 D 相交 的 两 个 直线 的 交点 在 D 的 
外 面 。 

最 后 ， 更 不 是 一 个 Poisson 过 程 ， 因 为 它 有 正 概 率 的 共 线 的 点 。 Oo 
问题 4.8 ”对 于 参数 为 6 的 随机 序列 (p11，p，，…)， 它 的 Poisson-Dirichlet 分 布 的 特例 出 
现在 PSE II， 定 义 如 下 。 证 明 对 于 $(0) 一 0 的 任何 多 项 式 风 ， 

El Dgcp,)) = a] flax —2)""'dx (4. 6. 5) 


这 揭示 了 关于 pi 的 分 布 的 哪些 方面 ? 
解答 最 简单 的 引入 Poisson-Dirichlet 分 布 的 方式 是 说 p 二 (pl1，p;，*…) 有 与 (&,/o) 相 同 
的 分 布 ， 其 中 {&,，n 二 1，2…} 是 在 (0，co) 上 Poisson 过 程 降序 排列 的 点 ， 其 中 速率 为 
dz e", g= 2 。 由 Campbell 定理 可 知 ，c 几乎 是 有 限 的 ， 分 布 为 Gam) CH 0>0 
是 任意 的 )， 并 且 独 立 于 向 量 p= Cris prs os Hh 

ASS dP =1, 概率 为 1 


n>1 


在 这 里 Gam 代表 了 Gamma 分 布 ; 见 附录 PSE I. 
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为 了 证 明 (4. 6.5)， 我 们 取 p,=6./o 并 利用 c 和 zp 独立 的 事实 。 对 于 k 宇 1， 
E( Pg) = | atoa erdz = OT(k) 
左边 等 于 


Ef >) pt) = T(0+AT (0 B( S ph) 
n>1 n>1 
所 以 


TCR 十 0) 
我 们 看 到 对 于 62) =2' (R= 1) HER. 6. 5) 成 立 ， 所 以 根据 所 有 600) =0 的 多 项 式 的 
线性 特性 ， 式 (4. 6.5) 也 成 立 。 
通过 多 项 式 近 似 阶 跃 方程 说 明 在 区 间 (a，5) (0 二 a 二 6 过 1) 中 p, 的 平均 数 等 于 


b 
JEF G — z) dz 


如 果 a 之 1/2， 最 多 有 一 个 这 样 的 p,， 使 得 pi 的 PDF 为 
用人 

但 在 (0，1/2) 不 成 立 ， 恒 等 式 (4. 6. 5) 并 不 能 确定 p 在 这 区 间 内 的 分 布 。 加 
问题 4.9 在 大 森林 中 树木 的 位 置 可 以 建 模 为 在 相 上 速率 恒 为 A 的 一 个 Poisson t$ I. 
每 棵 树 产生 随机 数目 的 种 子 ， 满 足 均值 为 凡 的 Poisson 分 布 。 每 个 种 子 落 在 地 上 ， 均 匀 分 
布 在 圆心 为 树 ， 半 径 为 + 的 圆 内 。 不 同 种 子 相 对 于 它们 的 母树 ， 一 棵 给 定 树 的 种 子 数 相互 
之 间 独 立 并 且 与 也 独立 。 证 明 以 五 为 条 件 ， 种 子 构成 一 个 Poisson 过 程 卫 " ， 其 均值 测度 
RAF I, I” 的 无 条 件 分 布 是 一 个 Poisson 过 程 吗 ? 
解答 通过 直接 的 计算 ， 通 过 一 个 在 X 的 树 上 产生 的 种 子 构成 一 个 Poisson 过 程 ， 速 率 为 
a'r’, wr Xx 
0， 其 他 
这 些 独立 的 Poisson it Fe Hy & In 73 B)— Poisson 过 程 ， 速 率 为 

Arla) = Y oa Ge) 

XE 


显然 依赖 于 互 。 为 了 不 怀疑 这 种 依赖 ， 选 择 圆周 均匀 分 布 这 种 不 实际 的 假设 。 选 择 一 个 假 
想 的 圆圈 一 在 这 种 情况 下 UT AT A An 的 等 高 线 重建 。 

这 里 我 们 第 一 次 遇 到 双重 随机 (Cox) 过程 ， 即 具 有 随机 强度 的 ] Poisson 过 程 。 在 有 限 
集合 A 中 种 子 数 的 均值 为 


EN (A) = EEL N(A) |] = E| Ag(x)dz 


BS pt) = LOTO _ of 2 daii 
næl 0 


px (x) — 


方差 为 
VarN(A)= ECVar[ NCA) |] + Var(ELNCA) | 11) 
= EN(A) + var| [An(a) dz | 
> EN(A) 
所 以 ， * 不 是 一 个 Poisson we. Ol 


问题 4. 10 AR 上 单位 球 内 的 一 个 均匀 Poisson it M, #31480 BX Lebesgue 测度 ( 体 
AR), Æ 
及 一 (zyz) E R: =r +y tHe <1} 
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证 明 
I, = (r:(2,y,z) € I} 
是 一 个 在 L0，1] 上 的 Poisson 过 程 ， 并 求 它 的 均值 测度 。 证 明 
I, = {(2/r,y/r,2z/r):(rsy5z) € I} 

是 一 个 在 B 边 界 上 的 Poisson 过 程 ， 其 均值 测度 是 表面 积 的 倍数 吗 ? m 和 五 是 独立 过 程 吗 ? 
解答 由 上 映射 定理 可 知 ， 了 五 是 一 个 Poisson 过 程 ， 在 (a，65) 上 点 的 平均 数目 等 于 XX( 半 径 
为 a Mlb 的 壳 的 体积 )， 即 

TET 
ET, M 的 均值 测度 的 PDF 为 

diar (O0<r<1) 
类 似 地 ， 在 ATB F M: 的 点 的 平均 数目 等 于 


AX (0 到 A 的 回 锥 体积 ) 一 FAX (A 的 表面 积 ) 


Ua, D AT, 不 独立 ， 因 为 它们 有 相同 的 点 。 T 
问题 4. 11 h AEAEE, A EAR ERA r O<r<1, HAA 
同 点 的 颜色 是 相互 独立 的 。 证 明 红 色 和 绿色 的 点 构成 独立 的 Poisson 过 程 。 

解答 MRACS, A p(A)<co, WATEA 

N(A) = Ni (A) + NCA) 
其 中 N, AlN, 是 红 点 和 绿 点 的 数目 。 给 定 N(A) 二 x，N1(A) 服 从 二 项 式 分 布 Bin(n，r)。 所 以 
P(N: (A) = k, N,(A) =D 
=P(N(A) = k+} DPEN, (A) =k|IN(A) = k++) 


HH WA) (Rk + 1 
=ë ey 4 | ee 


[pA Te [CQ— np A Te 
k! i! 


所 以 ，Ni CA) AI N,(A) 分 别 是 均值 为 ru(A) 和 (1 一 r)u(A) 的 独立 Poisson 随机 变量 。 
如 果 A!，A,，… 是 不 相交 的 集合 ， 那 么 数 对 
CN, (Ay) N: (Ay )) CN: (Az) N, CA), ee 

是 相互 独立 的 ， 所 以 , 

CN, (A,) N, (Az) ***) 和 (NCA1),N;,(A,),) 
是 两 个 独立 随机 变量 的 独立 序列 。 如 果 (A) =co, 那么 N(A)=coJLFAbAM IW. AF 
r>0, 1—r>0, Æ A 中 几乎 有 无 限 多 红 点 和 绿 点 。 al 
问题 4. 12 一 个 关于 暴雨 降落 在 水 平面 ( 设 为 平面 下) 的 模型 将 每 个 雨点 建 模 成 三 元 组 
(X, T, V), FP XER 是 雨滴 中 心 的 水 平 位 置 ， 人 是 雨滴 落地 的 时 刻 ，V 是 雨滴 中 水 
的 体积 。 点 (X，T，V) 被 假设 是 在 R 上 构成 一 个 Poisson 分 布 ， 给 定 速率 为 1(z，t，Dm)。 
雨滴 在 平面 上 构成 一 个 湿 圆 盘 ， 中 心 为 义 ， 半 径 随 时 间 增 大 ， 在 时 间 (T 十 1) 时 半径 为 一 个 
给 定 的 函数 r(i1，V)。 求 在 时 间 tr， 一 个 点 ECR 是 干 的 概率 ， 并 且 证 明 如 果 这 个 积分 收 
人 黎 ， 则 在 暴雨 中 总 雨量 的 期 望 为 


fs uÀ far sly v) dzdidz 
解答 KANUEHI pA E 
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|X —é|< rr- t, V) 
RLH, EER 是 湿 的 。 
(因为 这 种 差异 涉及 0 概率 事件 ， 所 以 无 论 不 等 式 是 否 严格 都 并 不 影响 结果 )。 满 足 这 两 个 
ARE ACA I AY BE Poisson 分 布 ， 均 值 为 : 


p= [aCe tw < r |x — el< re — t,o) dededo 


因此 ，# 是 干 的 概率 是 e“( 或 者 如 果 /一 十 ce 时 ， 等 于 0)。 最 后 ， 期 望 总 降水 量 的 公式 是 
V 


(XT VEN 


它 是 Campbell 定理 的 一 个 直接 应 用 。 

问题 4. 13 设 M 是 下 =RX[0，r) 上 具有 常数 强度 1 的 Poisson 随机 测度 。 对 于 (zx， OEE, A 

lx, ORR 中 的 直线 ， 它 是 以 原点 为 中 心 ， 旋 转 直线 {(z，y): yER) 的 角度 为 86 得 到 的 。 
考虑 线性 过 程 上 二 Mo。17!。 

G) 与 圆 D,={zER’: |z| 三 a) 相交 的 直线 数量 的 分 布 是 什么 ? 

Gi) 从 原点 到 最 近 直 线 的 距离 的 分 布 是 什么 ? 

GID 从 原点 到 第 个 最 近 直 线 的 距离 的 分 布 是 什么 ? 
解答 〈i) 一 条 直线 与 圆 D,=(zER’: |z| 志 a) 相 交 ， 当 和 且 仅 当 它 表示 的 点 (x，9) 位 于 
(一 a，a)X[0，x)。 因 而 

# 相交 线 D, ~ Po(2and) 
GD 令 Y 了 表示 原点 到 最 近 直 线 的 距离 。 那 么 
PCY >a) = P(M((—a,a) X [0,x)) = 0) = exp(— 2an) 
Bl), Y~Exp(2nd). 

GD 令 YY ，Y ，… 表 示 从 原点 到 最 近 直线 、 到 第 二 近 直 线 等 等 的 距离 。 那 么 到 是 
R+ 上 PRMN 的 原子 。 它 是 通过 投影 (z，b9)ry*|z| 从 M 上 获得 的 。 通 过 映射 定理 ，N 是 
R 上 速率 为 2Ax 的 Poisson t#. Auk, AA Y, =S +S, HP S,~Exp(2na), Hf 
LI Y, ~Gam(k, 2An), HEA AFA. E 
问题 4. 14 AAR SMP eH M 个 等 概 信 号 中 的 一 个 ， 第 了 个 信息 被 标量 序 
列 an(t 二 1]，2…，n) 编 码 得 到 ， 在 传输 后 ， 接 收 信 号 为 aj 十 e,(t 二 1]，2…，n)。 这 里 的 品 
声 随 机 变量 &, 是 服从 独立 正 态 分 布 d H, HMA, HES ŽA Vare =t. 

在 接收 端 得 到 一 个 推理 规则 : 信息 值 被 不 正确 推理 的 平均 概率 有 上 界 

Plerror) < È Y exp(— da /8) (4. 6. 6) 


1< ij 关上 <M 


这 里 
dy = X laj Bu) o 


l<t<n 


假设 M 一 2， 传 输 波 形 受 限于 功率 约束 》) a% Kj 二 1,2 ， 这 两 个 波形 哪 一 个 能 最 小 化 


错误 概率 ? GER, 你 可 以 假设 界限 P(Z>a) 壹 exp( 一 a?/2) 的 有 效 性 ， 其 中 Z 是 一 个 标准 
NO, DREE.) 
es 如果 波形 A= URRH, + f=faly|X=a) HE y KH PDF. HA 
P(error) < a> DPA > fi) |X = Aj) 
j kikAj 


SV EMAITRA v; 的 对 角 和 矩阵 ， 在 当前 这 种 情况 下 ， 
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To Cexp(— FY —ay)*/0, ) 


2 
= Cexp(— + 


HBA, mR X=A; MYSA +e, RNA 
log f, — log f; =— SA, —Ayte)™V1(A; — A, te) + FeV e 


USAN VA e A;)) 


=~ dy — (A; — (ADV) 


=— ody Pee Pe 
其 中 Z~NCO, 1). 因此 ， 根 据 提示 ， 式 (4. 6. 6) 可 写 为 如 下 所 示 : 
Pf, > fi) = PZ > Vdr/2) < e" 
在 M=2 情况 下 ， 我 们 必须 最 大 化 
dy = (A, ~AD VIA A) = 5) ar au) o 


1<t<n 


它 受 限于 
Jack K O aK 


根据 Cauchy-Schwarz 


(A, 一 AD)TV-CA 一 4A) < (./ATV 1A, + VAIV TA,)’ (4. 6.7) 
当 A,=constA, HM, FERL. Ws, ERMA. VÆNA. 4ASA;=K, j= 
1，2，… 时 ， 式 (4. 6.7) 被 最 大 化 。 我 们 可 以 得 出 结论 
ay =— ay, = b, 
对 于 zt 来 说 ， 只 有 6 非 零 时 才 使 得 w 是 最 小 的 ， 并 且 之 ,2 SK. Tal 
问题 4. 15 随机 变量 了 是 一 个 非 负 整数 ， ERAY RKA, LRT EYSM, CH 
— MlogM + (M-+ 1)log(M + 1) 
它 通过 均值 为 M 的 几何 分 布 获得 。 
对 于 非 负 整数 输入 值 X， 无 记忆 信道 产生 输出 了 ， 写 为 
Y=X+e 
其 中 e 和 XX 是 相互 独立 的 ，P(e 二 1) 二 pp，P(e 二 1) 二 1 一 p 二 gq， 输 入 值钱 受 EXZg HA 
束 。 证 明 假 如 p 二 1/3， 最 优 输入 分 布 是 


P(X =r) = Qt+p)7( 直 [一 (=2) ), r=051,25-" 


q 
并 求 信道 的 容量 。 
简单 地 描述 如 果 pp 二 1/3， 确 定 信道 容量 的 问题 。 497 
解答 首先， 考虑 这 个 问题 
py 之 0 
maximise h(Y) =— 5} p, logs, logs, nx] Dypy = 1 
y=0 
SIPs =M 


使 用 Lagrangian 乘 子 法 ， 解 为 


apo a y 一 eee y: et ae oe) 
py, = (1 ADA sy 0,1, ’ 满足 M Toy BA M+1 
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其 中 最 优 值 是 

h(Y) = (M+ 1)log(M +1) — MlogM 
接着 ， 对 于 g(m)=(m+t1)log(im+1)—mlogm, 

g'(m) = log¢m+ 1) — logm > 0 
这 意味 着 当 M 增加 时 ，h(Y) 增 加 。 因 此 ， 正 如 所 要 求 的 一 样 ， 对 于 BY 之 M， 最 大 值 和 最 
优 值 是 相同 的 。 
现在 ， 容 量 C 二 sup[h(Y) 一 h(Y|X)] 二 h(Y) 一 h(e)， 条 件 EX <q 表明 EY<g 十 Be = 

qtp=1. KF hle)=— plog—gqlogg, RMA RA Y 是 几何 分 布 ， 对 于 M=1, A=1/2, 
则 有 

C = 2log2 + plogp + qlogg = log(4p*q") 
那么 


路- (JA) ieee +0) = 


_ @=z) +p Ute) 
i+> 


=i —— (>) (1/2) rz’ (p/@9 © (— p/o z") 


如 果 p>1/3, WA p/g 二 1/2， 交 蔡 概 率 变 成 负数 ， 这 意味 着 给 定 Y 的 一 个 最 优 值 ， 不 存 
EX Wa. BA, 我们 必须 最 大 化 


5: dibs logp,, 约束 于 p, = pr tan, 

HP x,>0, Dim = 一 1， Dyn < = 
问题 4. 16 假设 由 第 二 编码 定理 得 到 信道 容量 界 成 立 ， 推导 无 记忆 Gauss 信道 的 容 

一 个 信道 由 rr 个 相互 独立 的 无 记忆 Gauss 信道 组 成 ,在 第 i 个 信道 中 嗓 声 pa Uys 
1 =1,2,°% ,71。 对 于 每 一 个 t, 混 合 信 道 受 限于 一 个 总 功率 约束 E(>)zi \<p FP cz, 是 在 时 
间 守 上 第 ;个 信道 的 输入 值 。 请 确定 混合 信道 的 容量 。 
解答 第 一 部 分 请 看 4. 3 节 。 

如 果 在 第 i 个 信道 上 的 功率 减少 到 p;， 我们 会 有 容量 


1 


ees 
"e (2—=)oa pe 




















aces! bi 

= 3 Dyloa(1 +) 
实际 容量 通过 C=maxC', 受 限 于 Pi» e 二 0 Dpi=p 被 给 出 。 因此 ， 我 们 需要 最 
大 化 Lagrangian RF 

l i 

£= z Ylog(1+F)—adie, 
满足 
Bae ay TB a = Le 

最 大 值 位 于 


Il 
eae 
S|- 

S 
p au 
+ 


pi = max(013-—w) 
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决定 。 
因为 LHS 从 十 ce 到 0 是 单调 减少 的 ， 所 以 )" 的 存在 性 与 唯一 性 成 立 ， 因 此 
Die 1 

C= bla = 
问题 4.17 ”这 里 我 们 考虑 在 给 定 集合 A( 有 限 , 可 数 , 或 者 不 可 数 ) 上 取 值 的 随机 变量 ,它们 
的 分 布 由 给 定 的 参考 测度 /的 PMF 来 决定 。 令 更 是 一 个 实 函 数 ,8 是 一 个 实数 。 证 明 受 限于 了 瑟 
W(X) = BHA OO =— | fx(X)logfx(z)pCdz) 的 最 大 值 Re OO 在 随机 变量 X' 的 PMF 
A 


fx. (x) = Lexpl—yv(z)] (4. 6. 8a) 
时 是 可 达 的 。 
其 中 已 = By) = fexp— YE) dx) 为 归 一 化 常量 ,选择 y 使 得 
BY(CX ) = | ZP expl (2) (de) = p (4. 6. 8b) 


假设 满足 性 质 | 时 Sexp[ 一 YW(z) jp(dxr) = phy 存在 。 


另外 ， 证 明 如 果 函 数 亚 是 非 负 的 ， 那 么 对 于 任意 给 定 的 BOO, AU. 6. 8a) Fo ACA. 6. 8b) 
i PMF fx: 可 以 使 精 j(X) 在 宽泛 的 约束 EW XP 下 取得 最 大 值 。 

因此 ， 在 下 面 的 情况 下 ， 计 算 受 限于 EYKA, hX ARKE: (i) 当 A 是 
一 个 有 限 集合 ，j 是 A 上 的 一 个 正 测度 (满足 jw 二 pu({ 让 ) 二 1/1(A)， HP eA = A) 并 

jEA 
E W(x) 三 ]，zxE A); Gi) A 是 一 个 任意 集合 时 ， jy 是 A 上 的 一 个 正 测度 ， 满 足 J( A) 过 
coco， 于 (z) 三 1]，zEA; (iii) 当 A 二 RR 是 一 个 实 直 线 时 ，jy 是 Lebesgue MR, V(x)=|2]; 
(iv) 当 A=R’, pxe—Ad 维 的 Lebesgue WH, V(r) = “> Kjzizys 其 中 开 一 (Ki) 是 
1 | leai<a 

一 个 dXd HERZ FHF, 
解答 ”关于 lnfx a)=—yW(a2)—1nB, 我 们 使 用 Gibbs 不 等 式 


h(X)=— fs (2) In fx (apCdr) < [orro 十 lInBju(dz) 


= [fe (x) [yw (2) + alado = CX") 
当 且 仅 当 X~X* 等 号 成 立 。 第 一 个 证 明 完 成 。 


如 果 wo, WAE EY(X)2>0, FE y 为 满足 约束 的 最 小 值 。 口 
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索引 中 的 页 码 为 英文 原 书 页 码 ， 与 书 中 页 边 标 注 的 页 码 一 致 。 
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additive stream cipher( 加 法 流 密码 ) 463 

algebra (a commutative ring and a linear space)( 代 

数 ， 即 交换 环 和 线性 空间 的 集合 ) 318 

group algebra( 群 代数 ) 317 

polynomial algebra( 多 项 式 代 数 ) 214 

o -algebra(o 代数 ), 440 

algebraic-geometric code( 代 数 几 何 码 )，340 

algorithm( 算 法 )，9 

Berlekamp-Massey (BM) decoding algorithm for 

BCH codes (BCH 码 的 Berlekamp-Massey 解码 
算法 )，240 

Berlekamp-Massey (BM) algorithm for solving 

linear equations (线性 方程 的 Berlekamp-Massey 
算法 )，460 

division algorithm for polynomials( 多 项 式 的 分 割 
算法 )，214 

Euclid algorithm for integers( 整 数 的 欧 氏 算法 ), 473 

extended Euclid algorithm for integers( 整 数 的 扩 
展 欧 氏 算法 ), 470 

Euclid algorithm for polynomials( 多 项 式 的 欧 氏 
算法 )，242 

GuruswamirSudan (GS) decoding algorithm for 

Reed-Solomon codes( Reed-Solomon 码 的 Guruswami- 
Sudan 解码 算法 )，298 

Huffman encoding algorithm ( Huffman 编码 算 
%), 9 


Alphabet ( ##3 48), 3 


source alphabet( 源 符号 集 )，8 

coder (encoding) alphabet( 编 码 (解码 ) 符 号 集 )，3 
channel input alphabet( 信 道 输入 符号 集 )。60 
channel output alphabet( 信 道 输出 符号 集 )，65 


asymptotic equipartition property( 渐 近 均 分 性 ), 44 
asymptotically good sequence of codes( 渐 近 优 序列 


码 )，78 
automorphism( 自 同 构 ), 283. 


B 


band-limited signal( 带 限 信号 ), 411 
bandwidth( 带 宽 ), 409 
basis( 基 础 ), 149, 184 
BCH (Bose-Ray-Chaudhuri-Hocquenghem) bound, 
or BCH theorem(BCH 界 或 BCH 理论 ), 237, 295 
BCH code(BCH #), 213 
BCH code in a narrow sense( 狭 义 的 BCH #3), 235 
binary BCH code in a narrow sense( 狭 义 的 二 进 
ii] BCH #3), 235 
Bernoulli source( Bernoulli 信 源 )，3 
bit (a unit of entropy) (H F, HAAS AHL). 9 
bit commitment cryptosystem( 比 特 交 付 密码 )，468 
bound( 界 ) 
BCH bound(BCH 界 ), 237, 295 
Elias bound(Elias 界 ) 177 
Gilbert bound(Gilbert Æ), 198 
Gilbert-Varshamov bound ( Gilbert-Varshamoy 
FE), 154 
Griesmer bound(Griesmer 界 ), 197 
Hamming bound( Hamming 界 ), 150 
Johnson bound(Johnson 界 ), 177 
linear programming bound( 线 性 规划 界 ) 322 
Plotkin bound( Plotkin 界 ) 155 
Singleton bound(Singleton Æ), 154 
bar-product( 4 3@ fA) , 152 


C 


capacity( 容 量 ), 61 
capacity of a discrete channel( 离 散 信道 的 容量 )，61 
capacity of a memoryless Gaussian channel with 


white noise( 无 记忆 Gauss 白 噪 声 信 道 的 容量 )，374 
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capacity of a memoryless Gaussian channel with 
coloured noise( 无 记忆 Gauss 有 色 噪 声 信道 的 
容量 )，375 
operational channel capacity( 可 达 信 道 容量 ) 102 
character (as a digit or a letter or a symbol) (符号 ， 
例如 数字 ， 字 母 或 者 信号 )，53 
character (of a homomorphism)( 同 态 征 )，313 
modular character( 模 拟 征 )，314 
trivial, or principal, character (单位 特征 或 重 
征 )，313 
character transform( 符 号 变换 ) 319 
characteristic of a field( 域 的 特征 )，269 
channel( 信 道 ), 60 
additive Gaussian channel (AGC， 加 性 Gauss 信 
iH), 368 
memoryless Gaussian channel (MGC, 无 记忆 
Gauss 信道 )，368 3 
memoryless additive Gaussian channel (MAGC, 
无 记忆 加 性 Gauss 信道 ) 366 
memoryless binary channel (MBC， 无 记忆 二 元 
信道 ), 60 
memoryless binary symmetric channel (MBSC， 
无 记忆 二 元 对 称 信道 )，60 
noiseless channel( 有 了 品 信 道 )，103 
channel capacity( 信 道 容 量 )，61 
operational channel capacity( 可 达 信 道 容 量 )，102 
check matrix, JL parity-check matrix 
cipher (or a cryptosysterm)( 校 验 矩 阵 密码 (或 密码 
系统 ))，463 
one-time pad cipher( 单 次 加 密 密 码 ) 466 
public-key cipher( 公 钥 密 码 ) 467 
ciphertext( 密 文 ) 468 
code, or encoding(4a#3), 4 
alternant code( 交 蔡 码 ) 332 
BCH code(BCH 码 )，213 
binary code( 二 元 码 )，10，95 
cardinality of a code ( 码 的 基数 )，253 
cyclic code( 循 环 码 )，216 
decipherable code( 可 译 码 )，14 
dimension of a linear code( 线 性 码 维度 )，149 
D error detecting code(D 检 错 码 ) 147 
dual code( 对 偶 码 ) 153 
equivalent codes( 等 效 码 ) 190 
E error correcting code(E 21 ###3), 147 
Golay code(Golay #4), 151 
Goppa code(Goppa #§), 160, 334 


Hamming code( Hamming #4), 199 
Huffman code( Huffman 码 )，9 
information rate of a code( 码 信息 率 ) 147 
Justesen code(Justesen #5), 240, 332 
lossless code( 无 损 码 ) ，4 
linear code( 线 性 码 ) 148 
maximal distance separating (MDS， 最 大 距离 分 
离 MDS), 155 
parity-check code( 奇 偶 校 验 码 )，149 
perfect code( 完 美 码 ) 151 
prefix-free code( 无 前 级 编码 )，4 
random code( 随 机 码 )，68, 372 
rank of a linear code( 线 性 码 的 秩 )，184 
Reed-Muller (RM) code ( Reed-Muller (RM) 
#3), 203 
Reed-Solomon code( Reed-Solomon 码 ) 256, 291 
repetition code(@ 74). 149 
reversible cyclic code( A RPM), 230 
self-dual code( 自 对 偶 码 ) 201, 227 
self-orthogonal( Å IEZ), 227 
symplex code( 对 称 码 )，194 
codebook( 码 本 )，67 
random codebook( 随 机 码 本 )，68 
coder, or encoder( 编 码 器 ) 3 
codeword( 码 字 )，4 
random codeword( 随 机 码 字 ) 6 
coding, JL encoding 
coloured noise( 有 和 色 噪 声 ) 374 
concave([4]), 19, 32 
strictly concave(}™ 4% H), 32 
concavity (MHE), 20 
conditionally independent( 条 件 独 立 ) 26 
conjugacy (4t jatt), 281 
conjugate( Ft #09), 229 
convergence almost surely (a. s. ， 全 概率 成 立 ) 131 
convergence in probability( 概 率 收敛 )，43 
convex( h), 32 
strictly convex( 严 格 西 )，104 
convexity (h tE), 142 - 
core polynomial of a field( 域 的 核心 多 项 式 )，231 
coset( 陪 集 )，192 
cyclotomic coset( 分 圆 陪 集 )，285 
leader of a coset( 陪 集 的 领 ) 192 
cryptosystem (or a cipher) (密码 系统 或 密码 )，468 
bit commitment cryptosystem (比特 承诺 密码 系 
统 )，468 


ElGamal cryptosystem(ElGamal 密码 系统 )，475 
public key cryptosystem( 公 钥 密 码 ) 468 
RSA ( Rivest-Shamir-Adelman ) cryptosystem 
(RSA 密码 系统 )，468 
Rabin, or Rabin-Williams cryptosystem (Rabin, 
或 Rabin-Williams 密码 系统 )，473 
cyclic group( 循 环 群 )，231 
generator of a cyclic group( 循 环 群 生成 子 ) 
cyclic shift( 循 环 移 位 )， 216 


D 


data-processing inequality( 数 据 处 理 不 等 性 ) 80 
detailed balance equations (DBE， 详 细 平 衡 方程 )，56 
decoder, or a decoding rule( 解 码 规则 ) ，65 
geometric (or minimal distance) decoding rule( 几 
何 (或 最 小 距离 ) 解 码 规则 )，163 
ideal observer (IO) decoding rule( 理 想 观 测 者 
(10) 解 码 规则 )，66 
maximum likelihood (ML) decoding rule( 最 大 似 
然 解码 规则 )，66 
joint typicality (JT) decoder( 联 合 典 型 性 译 码 
F), 372 
decoding (#3), 167 
decoding alternant codes( 解 交替 码 ) 337 
decoding BCH codes( 解 BCH 74), 239, 310 
decoding cyclic codes (#78415), 214 
decoding Hamming codes( 解 Hamming #4), 200 
list decoding (j FMS), 192, 405 
decoding Reed-Muller codes ( 解 Reed-Muller 
W), 209 
decoding Reed-Solomon codes (# Reed-Muller 
Œ), 292 
decoding Reed-Solomon codes by the Guruswami- 
Sudan algorithm Git Guruswami-Sudan 算法 
解码 Reed-Solomon #4), 299 
syndrome decoding (fE hast), 193 
decrypt function (HER pi BL), 469 
degree of a polynomial( 多 项 式 的 次 数 )，206，214 
density of a probability distribution (PDF， 概 率 分 
布 密度 ) 86 
differential entropy(f44} 48), 86 
digit RF), 3 
dimension (EE), 149 
dimension of a code( 码 的 维度 )，149 


dimension of a linear representation (线性 维 
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度 )，314 
discrete Fourier transform (FEFT， 离 散 Fourier 变 
换 )，296 
discrete-time Markov chain (DTMC, 离散 时 间 
Markov $£), 1, 3 
discrete logarithm( 离 散 算 法 )，474 
distributed system, or a network (of transmitters) 
(( 发 送 端的 ) 分 布 式 系 统 或 网 络 )，436 
Dirac6-function(Dirac 5 函数 )，318 
distance( HE $), 20 
Kullback-Leibler distance (Kullback-Leibler 距 
B), 20 
Hamming distance( Hamming 距离 )，144 
minimal distance of a code( 码 最 小 距离 )，147 
distance enumerator polynomial( 距 离 榴 举 多 项 式 )， 
322 
divisor( 除 数 )，217 
greatest common divisor (GCD， 最 大 公约 数 )，223 
dot-product( 点 积 )，153 
doubly stochastic (Cox) random process( 双 重 随 机 
( 复 ) 过 程 )，492 
electronic signature( 电 子 签名 ), 469, 476 
encoding, or coding vii, (4993), 4 
Huffman encoding Huffman( 编 码 )，9 
Shannon-Fano encoding (Shannon-Fano 编码 )，9 
randont coding (随机 编码 )，67 
entropy (Wi), 7 
axiomatic definition of entropy (4 fy 2y Rk 
S003 /36 
binary entropy( — HEWA), 7 
conditional entropy( 4a #4) , 20 
differential entropy ( $5} ii) » 86 


E 


entropy of a random variable( fi HLA 3 HM) #4). 18 
entropy of a probability distribution( 一 个 概率 分 
Ai WY), 18 
joint entropy KAH), 20 
mutual entropy( 4 ff), 28 
entropy-power inequality (RRE), 92 
q-ary entropy (q A), 7 
entropy rate (#34), vii, 41 
relative entropy 4 #44). 20 
encrypt function( il % ph 2). 468 
ergodic random process (stationary) (遍历 随机 过 
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程 (稳定 ))，397 
ergodic transformation of a probability space( 一 个 
概率 空间 的 遍历 变换 )，397 
error locator( 错 误 定位 器 )，311 
error locator polynomial( 错 误 定 位 多 项 式 )，239, 311 
errorprobability( 错 误 概 率 ) 58 
extension of a code ( 码 的 扩展 ), 151 
parity-check extension( 奇 偶 检 验 扩展 ),，151 
extension field( 扩 展 域 )，261 


F 


factor (as a divisor) (因子 (作为 除数 ))，39 
irreducible factor( 不 可 约 因子 )，219 
prime factor( 主 要 因子 ) 39 
factorization( 分 解 )，230 
fading of a signal( 信 号 的 衰落 )，447 
power fading (功率 衰落 ) 447 
Rayleigh fading (Rayleigh 衰落 )，447 
feedback shift register (Jz (# (17 & AEs), 453 
linear feedback shift register (LFSR， 线 性 反馈 
移 位 寄存 器 ) 454 
feedback polynomial (反馈 多 项 式 )，454 
field (a commutative ring with inverses) (H G% 3% 
换 环 ))，146，230 
extension field (扩展 域 ) 261 
Galois field Galois( 域 ) ，272 
finite field (有 限 域 ) 194 
polynomial field( 多 项 式 域 ), 231 
primitive element of a field (一 个 域 的 基本 元 
素 )，230，232 
splitting field( 分 裂 域 ), 236, 271 
Frobenius map (PRT), 283 


G 


Gaussian channel (Gauss 信道 )，366 
additive Gaussian channel (AGC， 加 性 Gauss 信 
iH), 368 
memoryless Gaussian channel (MGC, 无 记忆 
Gauss 信道 ),， 368 
memoryless additive Gaussian channel (MAGC， 
无 记忆 加 性 Gauss 信道 )，366 
Gaussian coloured noise(Gauss 有 色 噪 声 )，374 
Gaussian white noise(Gauss HIR), 368 
Gaussian random process (Gauss 随机 过 程 )，369 
generating matrix( 生 成 矩阵 )，185 


generator (of a cyclic code) (生成 器 (循环 码 
的 ))，218 
minimal degree generator polynomial (最 小 生成 
多 项 式 ), 218 
generator (of a cyclic group) (生成 器 (循环 群 
的 ))，232 
geometric (or minimal distance) decoding rule( 几 何 
(或 最 小 距离 ) 解 码 规 则 )，163 
group (和 群 )，146 
group algebra( 群 代数 )，317 
commutative, or Abelian, group (交换 ， 或 者 阿 
贝尔 ， 群 )，146 
cyclic group( 循 环 群 )，231 
linear representation of a group (一 个 群 的 线性 
表示 )，314 
generalized function (一 般 性 函数 )，412 
greatest common divisor (GCD， 最 大 公约 数 ), 223 


ideal observer (IO) decoding rule( 理 想 观 测 者 译 码 
规则 )，66 
ideal of a ring( 环 的 典范 )，217 
principal ideal (主要 典范 ), 219 
identity (for weight enumerator polynomials) 〈 标 
识 ( 加 权 枚 举 多 项 式 ))，258 
abstract MacWilliams identity (抽象 MacWil- 
liams 标识 ), 315 
MacWilliams identity for a linear code (一 个 线性 
码 的 MacWilliams 标识 )，258，313 
independent identically distributed (IID) random 
variables( 独 立 同 分 布 的 随机 变量 ), 1, 3 
inequality( 不 等 式 ), 4 
Brunn-Minkovski inequality (Brunn-Minkovski 
FFR), 93 
Cauchy-Schwarz inequality (Cauchy-Schwarz 不 
WA), 124 
Chebyshev inequality (Chebyshev 不 等 式 )，128 
data-processing inequality( 数 据 处 理 不 等 式 )，80 
entropy-power inequality (W Jy 3% AG), 92 
Fano inequality (Fano 不 等 式 )，25 
generalized Fano inequality (Fano 生成 不 等 式 )，27 
Gibbs inequality (Gibbs 不 等 式 )，17 
Hadamard inequality (Hadamard 不 等 式 )，91 
Kraft inequality (Kraft 不 等 式 ), 4 
Ky-Fan inequality (Ky-Fan PÆ), 91 
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log-sum inequality (log-sum 不 等 式 )，103 
Markov inequality (Markov 不 等 式 )，408 
pooling inequalities (pooling 不 等 式 ), 24 
information (信息 ), 2, 18 
mutual information, or mutual entropy( 互 信息 ， 
RERI), 28 
information rate( 信 息 速 率 ), 15 
information source (random source) 〈 信 源 ( 随 机 
源 ))，2，44 
Bernoulli information source (Bernoulli 信 源 )，3 
Markov information source (Markov 信 源 )，3 
information symbols (信息 符号 )，209 
initial fill( 初 始 填充 )，454 
intensity (of a random measure) (强度 (随机 衡 
Æ)), 437 
intensity measure GĦ JE ME), 437 


J 


joint entropy (KAW), 20 

joint input/output distribution (of a channel) (联合 
输入 /输出 分 布 ( 一 个 信道 的 ))，67 

joint typicality (JT) decoder( 联 合 典型 性 (JT) 译 码 
器 ) 372 


K 


key (as a part of a cipher) (# (作为 密码 的 一 部 
分 ))，466 
decoding key (a label of a decoding, or decryp- 
ting, map) (解码 密 钥 (解码 或 解密 的 标签 映 
射 )), 469 
encoding key (a label of an encoding, or encrypt- 
ing，map)《〈 编 码 密 钥 (编码 或 加 密 的 标签 映 
射 ))，468 
random key of a one-pad cipher (one-pad 随机 密 
H), 466 
private key (#\ #4), 470 
public key (2849), 469 
secret key ($4), 473 
Karhunen-Loéve decomposition ( Karhunen-Loéve 


分 解 )，426 
| 


law of large numbers (大 数 定 理 )，34 
strong law of large numbers (强大 数 定 理 )，438 
leader of a coset (Æ Hg), 192 


least common multiple (lem) 〈 最 小 公 倍 数 )，223 
lemma ( 引 理 ) 
Borel-Cantelli lemma (Borel-Cantell 引 理 ), 418 
Nyquist-Shannon-Kotelnikov-Whittaker lemma 
( Nyquist-Shannon-Kotelnikov-Whittaker 5| 
HH), 431 
letter (字母 ), 2 
linear code (线性 码 ) 148 
linear representation of a group ( 群 的 线性 表 
示 )，314 
space of a linedr representation (线性 表示 的 空间 
W), 314 
dimension of a linear representation (线性 表示 的 
HERE), 314 
linear space (线性 空间 ), 146 
linear subspace (线性 子 空间 ), 148 
linear feedback shift register (LESR， 线 性 反馈 移 
位 寄存 器 )，454 
auxiliary, or feedback, polynomial of an LFSR 
(LFSR 的 附属 ， 反 馈 ， 多 项 式 )，454 


M 


Markov chain (Markov 链 )，1，3 
discrete-time Markov chain (DTMC， 离 散 时 间 
Markov $£), 1, 3 
coupled Markov chain ($ Markov $£), 50 
irreducible and aperiodic Markov chain (不 可 约 
和 非 周期 的 Markov $£), 128 
kth-order Markov chain approximation (k [ff 
Markov 链 近 似 )，407 
second-order Markov chain (二 阶 Markov 链 )，131 
transition matrix of a Markov chain (Markov 链 
的 转移 矩阵 )，3 
Markov inequality( Markov FÆ), 408 
Markov property (Markov 性 )，33 
strong Markov property ( 强 Markov PE), 50 
Markov source (Markov W), 3 
stationary Markov source (静态 Markov WR), 3 
Markov triple (Markov 三 元 组 )，33 
Matérn process (with a hard core) (Matern 过 
$), 451 
first model of the Matérn process (Matern 过 程 
的 第 一 模型 )，451 
second model of the Matérn process (Matern 过 


程 的 第 二 模型 ) 451 
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matrix (和 矩阵 )，13 
covariance matrix (方差 矩阵 )，88 
generating matrix (生成 矩阵 )，185 
generating check matrix，canonical，or standard， 
form of (+s+. 的 生成 校 验 和 矩阵 ， 规 范式 ,或 
标准 ， 形 式 )，189 
parity-check matrix (奇偶 校 验 矩 阵 )，186 
parity-check matrix, canonical, or standard, 
form of (eee 的 奇偶 校 验 矩阵 ， 规 范式 ， 或 
标准 ， 形 式 )，189 
parity-check matrix of a Hamming code (Ham- 
ming 码 的 奇偶 校 验 矩 阵 )，191 
positive definite matrix (IE 78), 91 
recursion matrix (递归 矩阵) ，174 
Töplitz matrix (Toplitz E), 93 
transition matrix of a Markov chain (Markov 链 
的 转移 矩阵 )，3 
transition matrix, doubly stochastic (转移 矩阵 ， 
重 随机 )，34 
Vandermonde matrix (Vandermonde 矩阵 ) 295 
maximum likelihood (ML) decoding rule (最 大 似 
然 解码 准则 )，66 
measure (as a countably additive function of a set) 
CHW BE), 366 
intensity (or mean) measure (强度 (或 均值 ) W 
度 ), 436 
non-atomic measure( 非 原子 测度 )，436 
Poisson random measure (Poisson 随 测度 )，436 
product-measure (Fé fA WE), 371 
random measure (PELIE), 436 
reference meastre( 标 准 测度 ) 372 
o-finite (o-A BR). 436 
Mobius function( Mobius 方程 ), 277 
Möbius inversion formula( Mobius 逆 公 式 )，278 
moment generating function (EMRE), 442 


N 


network( 网 络 ) ， 参 见 distributed system 
supercritical network( 超 临界 网 络 )，449 

network information theory( 网 络 信息 论 )，436 

noise (in a channel)( 品 声 在 信道 中 )，2，70 
Gaussian coloured noise(Gauss 有 色 噪 声 ) 374 
Gaussian white noise(Gauss 自 噪 声 ) 368 

noiseless channel( 无 噪 信道 )，103 

noisy (or fully noisy) channel (4 WA (R AIRE ) {A 


jf), 81 
O 


one-time pad cipher(—K — $ #3). 466 
operational channel capacity( 可 行 信道 容量 )，102 
order of an element JGK ÉJ KT), 267 
order of a polynomial( 4 MRKI HT). 231 
orthogonal( iF 3€), 185 
ortho-basis( 正 交 基 ), 430 
orthogonal complement( 正 交 补 )，185 
orthoprojection( 正 交 投 影 )，375 
selforthogonal( 自 正 交 ) 227 
output stream of a register( 寄 存 器 的 输出 流 )，454 
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parity-check code( 奇 偶 校 验 码 )，149 
parity-check extension( 奇 偶 校 验 扩 展 )，151 
parity-check matrix( 奇 偶 校 验 矩阵 )，186 
plaintext( 明 码 文本 )，468 
Poisson process(Poisson 过 程 )，436 
Poisson random measure(Poisson 随机 测度 ) ，436 
Polynomial( 多 项 式 )，206 
algebra，polynomial( 代 数 ， 多 项 式 )，214 
degree of a polynomial( 多 项 式 的 度 ), 206, 214 
distance enumerator polynomial( 距 离 列举 多 项 
HK), 322 
error locator polynomial( 错 误 定 位 多 项 式 )，239 
Goppa polynomial(Goppa 多 项 式 )，335 
irreducible polynomial( 不 可 约 多 项 式 ), 219 
Mattson-Solomon polynomial (Mattson-Solomon 
ZMA), 296 
minimal polynomial( 最 小 多 项 式 )，236 
order of a polynomial( 多 项 式 的 阶 )，231 
reducible polynomial( 可 约 多 项 式 )，221 
primitive polynomial( 原 始 多 项 式 )，230，267 
Kravchuk polynomial(Kravchuk 多 项 式 )，320 
weight enumerator polynomial( 权 重 列举 多 项 式 )， 
319, 351 
probability distribution #477 #2). 1 
conditional probability( 44 (4%) » 1 
probability density function (PDF, #4 # HE Wr 
#2), 86 
equiprobable, or uniform, distribution( 等 概率 或 
均匀 分 布 )，3，22 


exponential distribution (with exponential densi- 


ty)〈 指 数 分 布 (有 指数 密度 ))，89 
geometric distribution (几何 分 布 )，21 : 
joint probability (联合 概率 )，1 
multivariate normal distribution (多 元 正 态 分 
布 )，88 
normal distribution (with univariate normal den- 
sity)( 正 态 分 布 (有 单 变 量 正 态 密 度 ))，89 
poisson distribution (Poisson 分 布 ) 101 
probability mass function (PMF, 概率 质量 密 
RE), 366 
probability space (概率 空间 )，397 
prolate spheroidal wave function(PSWE， 椭 球 波 函 
数 )，425 
protocol of a private communication (私密 通信 协 
W), 469 
diffie-hellman protocol(diffie-hellman 协议 ), 474 
prefix (HT), 4 
prefix-free code (无 前 级 编 码 ), 4 
product-channel (乘积 信道 )，404 
public-key cipher ( 公 钥 算法 )，467 
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quantum mechanics (量子 力学 ), 431 
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random code (PEHLI), 68, 372 
random codebook (MALE), 68 
random codeword (随机 码 字 )，6 
poisson random measure (PRM，Poisson 随机 测 
度 )，436 
random process (随机 过 程 ) 
gaussian random process (Gauss 随机 过 程 )，369 
poisson random process (Poisson 随机 过 程 )，436 
stationary random process (平稳 随机 过 程 )，397 
stationary ergodic random process (平稳 各 态 历 
经 过 程 )，397 
random variable (随机 变量 )，18 
conditionally independent random variables (条 件 
独立 随机 变量 ), 26 
equiprobable, or uniform, random variable (均匀 
随机 变量 ), 3，22 
exponential random variable (with exponential 
density)( 指 数 随机 变量 )，89 
geometric random variable (几何 随机 变量 ), 21 
independent identically distributed (IID) random 
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variables (独立 同 分 布 随机 变量 ), 1, 3 
joint probability distribution of random variables 
(联合 概率 分 布 的 随机 变量 ), 1 
normal random variable (with univariate normal 
density)( 正 态 随 机 变量 有 单一 正 态 密 度 )，89 
poisson random variable ( Poisson 随机 变 
Æ), 101 
random vector (随机 向 量 )，20 
multivariate normal random vector (多 元 正 态 随机 
向 量 )，88 
rank of a code( 码 的 秩 ),，184 
rank-nullity property( 秩 零 化 性 质 )，186 
rate (速率 ), 15 
entropy rate (W3), 41 
information rate of a source (ff W WH (a BK 
mB), 15 
reliable encoding (or encodable) rate (HJ $E 4a 73 
速率 )，15 
reliable transmission rate (可 靠 传输 速率 )，62 
reliable transmission rate with regional constraint 
( 带 有 区 域 约束 的 可 靠 传输 速率 )，373 
regional constraint for channel capacity (信道 容量 
的 区 域 约束 )，367 
register (寄存 器 )，453 
feedback shift register (反馈 移 位 寄存 器 )，453 
linear feedback shift register (LFSR， 线 性 反 
人 馈 移 位 寄存 器 )，454 
feedback, or auxiliary, polynomial of an LFSR 
(线性 反馈 移 位 寄存 器 的 反馈 多 项 式 ) ，454 
initial fill of register (寄存 器 的 初次 填充 ), 454 
output stream of a register (寄存 器 的 输出 
Wi), 454 
repetition code (重复 码 ), 149 
repetition of a code (WHS), 152 
ring (HP), 217 
ideal of a ring( 环 的 理想 ) 217 
quotient ring (分 式 环 ) 274 
root of a cyclic code (循环 码 的 根 )，233 
defining root of a cyclic code (定义 循环 码 的 
根 )，233 
root of apolynomial (多 项 式 的 根 ), 228 
root of unity (单位 根 ),， 228 
primitive root of unity (本 原单 位 根 )，236 
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sample( 取 样 )，2 
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signal/noise ratio(SNR, {RIRIK ), 449 
sine function (sinc KO , 413 
size of a code( 码 的 大 小 ), 147 
space (空间 ), 35 
hamming space( 汉 明 空 间 )，144 
space(R') (空间 )，415 
linear space (EH), 146 
linear subspace (线性 子 空间 ), 148 
space of a linear representation (空间 的 线性 表 


示 )，314 
state space of a Markov chain (Markov 链 的 状态 
空间 )，35 


vector space over a field ( 域 上 的 向 量 空间 ), 269 
stream ( 流 ), 463 
strictly concave (严格 凹 的 ) 32 
strictly convex (严格 凸 的 ) 104 
string, or a word(of characters, digits, letters or sym- 
bols)《〈( 字 符 ， 位 ， 字 母 符 号 ) 的 字符 串 或 字 )，3 
source of information (random) 〈 信 源 ( 随 机))， 
2, 44 
bernoulli source (Bernoulli J), 3 
equiprobable Bernoulli source (等 概率 Bernoulli 
BH, 3 
markov source (Markov W), 3 
stationary markov source (平稳 Markov W), 3 
spectral density (频谱 密度 ) 417 
stationary (平稳 的 ), 3 
stationary markov source (平稳 Markov Yi), 3 
stationary random process (平稳 随机 过 程 )，398 
stationary ergodic random process (平稳 各 态 历 
经 随机 过 程 )，398 
supercritical network( 超 临界 网 络 )，449 
symbol (符号 )，2 
syndrome ( 校 验 子 ) ，192 
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theorem (Æ H) 

Brunn-Minkovski theorem (Brunn-Minkovski 定 
理 )，93 

Campbell theorem (Cambell 定理 ) 442 

Cayley-Hamilton theorem (Cayley-Hamilton 定 
HH), 456 

Central limit theorem(CLT， 中 心 极限 定理 ) 94 

Doob-Levy theorem (Doob-Levy 定理 ) ，409 


local De Moivre-Laplace theorem (本 地 De Moivre- 
Laplace 定理 )，53 
mapping theorem (映射 定理 ) 437 
theorem (cont. ) (定理 ) 
product theorem( 乘 积 定理 ) 444 
Shannon theorem(Shannon 定理 ), 8 
Shannon’ s noiseless coding theorem (NLCT, Shan- 
non 无 噪 编码 定理 )，8 
Shannon’s first coding theorem (FCT, Shannon 
第 一 编码 定理 ) ，42 
Shannon’ s second coding theorem (SCT), or 
noisy coding theorem (NCT, Shannon 第 二 编 
WER, AR Sia EB)» 59, 162 
Shannon’s SCT; converse part(Shannon 第 二 编 
码 定理 ， 道 命 题 )69 
Shannon’s SCT; strong converse part, (Shan- 
non Sf — REM: AlS 
Shannon’s SCT; direct part(Shannon 第 二 编码 
定理 : 直接 命题 ), 71, 163 
Shannon-McMillan-Breiman theorem (Shannon- 
McMillan-Breiman 定理 )，397 
totient function( 欧 拉 函 数 ) 270 
transform( 变 换 ) 
character transform( 字 符 变 换 ) 319 
Fourier transform(Fourier 变换 ) 296 
Fourier transform, discrete(#3#< Fourier 变换 ) 296 
Fourier transform in 上 (Es 中 Fourier 变换 ) 413 
transmitter( 发 射 机 ) ，443 


U 
uncertainty principle( 测 不 准 原理 ) 431 
V 


Vandermonde determinant( Vandermonde 行列 式 )，237 
Vandermonde matrix( Vandermonde 和 矩阵) 297 
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wedge-product( HJER), 149 

weight enumerator polynomial( 权 重 枚 举 多 项 式 )，319 

white noise( 白 噪声 ) 368 

word, or a string (of characters, digits, letters or 
symbols) (CFF, fii, Fa, APS NS, E), 3 
weight of a word( 码 字 的 重量 )，144 
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